de.wedoany.com-Bericht: Das Orca-Team des RoboBrain-Projekts am Beijing Institute of Artificial Intelligence (BAAI) veröffentlicht den technischen Bericht „Orca: The World is in Your Mind", der einen Ansatz erforscht, bei dem das Modell zunächst eine einheitliche Repräsentation des Weltzustands erlernt, um daraus Fähigkeiten zum Verstehen, Vorhersagen und Handeln abzuleiten. Die Projektseite ist unter https://orca-wm.github.io erreichbar, der vollständige technische Bericht unter https://arxiv.org/abs/2606.30534. Die Veröffentlichung hat in der internationalen Forschungsgemeinschaft Aufmerksamkeit erregt, wobei sich die Diskussion auf das „multimodale Repräsentations-Weltmodell" konzentriert. Es wird argumentiert, dass Orca versucht, in einem einheitlichen latenten Raum gemeinsame Zustände und Entwicklungsgesetze verschiedener Modalitäten zu erlernen. Einige Kommentatoren weisen darauf hin, dass Orca eher der Form eines frühen universellen Weltmodells ähnelt, das zunächst lernt, wie sich die Welt verändert, und diese Repräsentation dann auf nachgelagerte Aufgaben anwendet. Orca hat es zudem auf die monatliche Liste der „Daily Papers" geschafft.
Das Kernkonzept von Orca ist die „Next-State Prediction" (Vorhersage des nächsten Zustands). Das Modell konzentriert sich darauf, in welchem Zustand sich die Welt gerade befindet und wie dieser Zustand durch natürliche Entwicklung, Ereignisbedingungen oder externe Eingriffe in einen anderen Zustand übergeht. Das Team unterteilt die Lernmethoden in zwei Kategorien: Unbewusstes Lernen (Unconscious Learning) erfasst natürliche, dichte Zustandsänderungen aus kontinuierlichen Videos; Bewusstes Lernen (Conscious Learning) integriert Sprache und Ereignisse, sodass Zustandsübergänge durch semantische Bedingungen eingeschränkt werden. Beide Lernarten dienen gemeinsam der Konstruktion latenter Weltvariablen, die den Weltzustand ausdrücken und die Modellierung von Zustandsübergängen unterstützen können.
Beim ersten Typ, dem unbewussten Lernen, erlernt das Modell Zustandsänderungen aus kontinuierlichen Videos ohne explizite sprachliche Annotationen, z. B. Objektbewegungen, Kontakt zwischen Hand und Objekt oder die zeitliche Entwicklung einer Szene. Der zweite Typ, das bewusste Lernen, führt sprachliche und ereignisbezogene Einschränkungen ein, sodass das Modell Verbindungen zwischen sprachlichen Bedingungen und der aktuellen Beobachtung herstellt und spärliche, aber bedeutungsvollere Zustandsänderungen erlernt.
Beide Lernarten dienen gemeinsam der Konstruktion einer latenten Weltvariablen, die den Weltzustand ausdrücken und die Modellierung von Zustandsübergängen unterstützen kann.
Das Orca-Team hat eine automatisierte Filter- und Annotationspipeline aufgebaut und aus Internetdaten einen Datenbestand mit 125.000 Stunden Video, 160 Millionen Ereignisannotationen und 11,5 Millionen visuellen Frage-Antwort-Paaren (VQA) verarbeitet. Die Daten umfassen verschiedene Quellen wie Interaktionen aus der Ich-Perspektive, Objektmanipulationen aus der Dritten-Person-Perspektive, Robotervideos, natürliche dynamische Szenen, ereignisbasierte Zustandsübergänge und allgemeine visuelle Frage-Antwort-Aufgaben. Sie dienen dazu, aus realen Weltsignalen einen einheitlichen latenten Weltraum zu erlernen.
Im Bereich der Trainings-infrastruktur führte das BAAI-Team auf Basis des selbst entwickelten FlagScale-Frameworks eine systemische Umstrukturierung durch, einschließlich eines Upgrades auf FSDP2, eines blockweisen Kreuzentropieverlusts (Chunked Cross-Entropy Loss) sowie Optimierungen des Vorwärts-/Rückwärts-Prefetchings. Auf einem H100-Cluster steigerten diese Optimierungen den Trainingsdurchsatz auf 2,91 Samples/Sek./GPU, was einer 4,4-fachen Beschleunigung gegenüber der StarVLA-Baseline entspricht.
Um die Effektivität der Weltrepräsentation zu validieren, fror das Orca-Team in der nachgelagerten Phase das Hauptnetzwerk ein und trainierte nur leichte Auslesemodule. Das Experiment umfasste drei Arten des Auslesens: Textauslesen (Text Readout) zur Überprüfung, ob das Modell die Weltrepräsentation in Verständnis- und Schlussfolgerungsfähigkeiten umwandeln kann; Bildauslesen (Image Readout) zur Überprüfung, ob das Modell basierend auf dem aktuellen Zustand und den Bedingungen zukünftige visuelle Zustände vorhersagen kann; Aktionsauslesen (Action Readout) zur Überprüfung, ob das Modell die Weltrepräsentation auf die Steuerung eines realen Roboters übertragen kann. Diese drei Fähigkeiten entsprechen Verstehen, Vorhersagen und Handeln.
Die experimentellen Ergebnisse zeigen, dass mit zunehmender Größe der Vortrainingsdaten der Trainingsverlust von Orca kontinuierlich sinkt und Checkpoints aus verschiedenen Trainingsphasen eine synchrone Verbesserung der Leistung beim Text-, Bild- und Aktionsauslesen aufweisen. Alle Vergleichsergebnisse stammen von denselben vortrainierten Hauptnetzwerk-Checkpoints, und es wurden keine Daten zur Verbesserung der Benchmark-Ergebnisse verwendet.
Bei Textgenerierungs- und visuellen Frage-Antwort-Aufgaben erzielte Orca im 4B-Maßstab im Vergleich zu verschiedenen visuell-sprachlichen Modellen und Weltmodellen eine höhere durchschnittliche Leistung, wobei die Verbesserungen insbesondere in den Bereichen Zustandsübergang, Ereignisentwicklung und Verständnis dynamischer Bewegungen lagen.
In den Bildauslese-Experimenten legt das Bildauslesen von Orca Wert auf die Plausibilität des zukünftigen Zustands und kann die Roboterform, das Objektlayout, die Szenenkonsistenz und die Befehlseinschränkungen besser beibehalten.
In den realen Roboter-Aktionsauslese-Experimenten verwendete Orca in der Vortrainingsphase keine Robotertrajektorien mit Aktionslabels. In der nachgelagerten Phase wurde das Hauptnetzwerk von Orca eingefroren und nur ein von Grund auf trainierter DiT-ähnlicher Aktions-Experte integriert. Für jede Aufgabe wurden 200 domäneninterne Trajektorien zum Post-Training verwendet. Die Ergebnisse zeigen, dass Orca auch bei Out-of-Distribution (OOD)-Aufgaben mit Objekt- und Szenengeneralisierung deutliche Verbesserungen erzielt.
Ablationsstudien zeigen, dass die drei Trainingsziele – unbewusster Zustandsübergang, bewusster Ereignisübergang und VQA-Sprachüberwachung – jeweils unterschiedliche Rollen spielen.
Das Orca-Team diskutiert im technischen Bericht die aktuellen Einschränkungen. Der Bericht weist darauf hin, dass ein Weltmodell nicht nur durch eine bestimmte Ausgabemodalität definiert werden sollte, sondern lernen sollte, wie die Welt repräsentiert wird, wie sie sich verändert und wie diese Repräsentation Verstehen, Vorhersagen und Handeln unterstützen kann. Dieser Ansatz könnte in Zukunft auch in Bereichen wie physikalischen Systemen, Lebensprozessen, dem Makrokosmos, der mikroskopischen Quantenwelt und wissenschaftlichen Experimenten Anwendung finden. Verschiedene Bereiche erfordern unterschiedliche Daten und Modellierungsmethoden, aber die Frage „Wie lernt man, wie sich der Weltzustand verändert?" hat an sich eine grundlegendere Bedeutung.
