Eine neue Studie der University at Albany hat die geometrischen Prinzipien hinter dem Lernen von KI-Agenten aufgedeckt und zeigt, dass die Art und Weise, wie KI-Systeme Informationen organisieren, weitaus komplexer ist als bisher angenommen. Die Studie mit dem Titel „Exploring Hierarchical Spatial Structures in Reinforcement Learning Games via Volume Growth Transformations“ wurde auf arXiv veröffentlicht und bietet eine neue Perspektive zum Verständnis, wie KI Informationen verarbeitet.

Wissenschaftler haben lange angenommen, dass neuronale Netze Daten auf glatten, niedrigdimensionalen Oberflächen kodieren, die als Mannigfaltigkeiten bekannt sind. Forscher der University at Albany fanden jedoch heraus, dass dies für auf Transformer basierende Reinforcement-Learning-Modelle nicht zutrifft. Stattdessen organisieren diese ihre internen Repräsentationen in hierarchischen Räumen. Diese geometrische Struktur besteht aus mehreren miteinander verbundenen Regionen unterschiedlicher Dimensionen und steht im Einklang mit Ergebnissen jüngster Forschungen zu großen Sprachmodellen. Dies deutet darauf hin, dass hierarchische Geometrie ein grundlegendes Merkmal moderner KI-Systeme sein könnte. Das Forschungsteam entdeckte, dass die Schwierigkeit, mit der ein Modell seine Umgebung wahrnimmt, mit Clustern geometrischer Dimensionen zusammenhängt, indem es die geometrischen Formen in der KI-Arbeit nachverfolgte. Niedrigdimensionale Zustände treten typischerweise auf, wenn die Umgebung einfach ist oder der Agent bereits eine Handlungsentscheidung getroffen hat, während hochdimensionale Zustände auftreten, wenn die Umgebung komplex ist oder der Agent mehrere Handlungsoptionen abwägen muss.

Mithilfe der Technik der Volumenwachstumstransformationen fanden die Forscher heraus, dass die geometrischen Muster des Modells etablierten Theorien wie der Mannigfaltigkeitshypothese und der Faserbündelhypothese widersprechen. Viele interne Repräsentationen des Agenten erstrecken sich über mehrere Ebenen und bilden eine geometrische Landschaft mit abrupten Übergängen. Diese Veränderungen fallen oft mit wichtigen Momenten im Spiel zusammen, wie der Annäherung an ein Ziel, dem Auftreten eines neuen Hindernisses oder einer Pause zur Bewertung von Navigationsoptionen. Wie Justin Curry, außerordentlicher Professor in der Abteilung für Mathematik und Statistik am College of Arts and Sciences, erklärte: „Diese Sprünge in der Dimension spiegeln Momente der Unsicherheit wider. Wenn das Modell verwirrt ist oder verschiedene Optionen erkundet, kommt es zu Spitzen in der geometrischen Form.“ Gregory Cox, Assistenzprofessor in der Abteilung für Psychologie, fügte hinzu: „Hierarchische Geometrie ist nicht nur ein abstraktes Konzept. Sie bietet uns eine neue Linse, durch die wir verstehen können, wie Maschinen und das menschliche Gehirn komplexe Informationen repräsentieren.“

Die Forscher weisen darauf hin, dass die Überwachung der geometrischen Komplexität dabei helfen kann, die schwierigsten Momte zu identifizieren, in denen ein KI-System auf Probleme stößt. Dies ermöglicht möglicherweise adaptive Trainingsmethoden, um die Leistung des Modells an den schwierigsten Stellen zu verbessern. Diese Entdeckung bietet nicht nur einen neuen Blickwinkel auf das Verständnis von KI-Entscheidungsfindung, sondern legt auch eine Grundlage für die zukünftige Entwicklung von KI-Technologien.

Veröffentlichungsdetails: Autoren: Justin Curry et al., Titel: „Exploring Hierarchical Spatial Structures in Reinforcement Learning Games via Volume Growth Transformations“, veröffentlicht in: arXiv (2025)