de.wedoany.com-Bericht: Die New York University hat gemeinsam mit AMI, dem Startup von Yann LeCun, die neueste Entwicklung der JEPA-Reihe, AdaJEPA, vorgestellt. Dabei handelt es sich um ein Weltmodell, das während des Einsatzes kontinuierlich lernen kann.
Im Gegensatz zu bisherigen Weltmodellen, deren Parameter nach Abschluss des Trainings eingefroren werden, verwendet AdaJEPA einen Testzeit-Anpassungsmechanismus. Es passt die Parameter des Encoders und Prädiktors des Weltmodells in Echtzeit während der Interaktion mit der Umgebung an und ermöglicht so kontinuierliches Lernen.
Der Kernprozess von AdaJEPA ist ein Kreislauf aus Planen, Ausführen, Beobachten, Aktualisieren und Neuplanen. Das System führt jeweils nur den ersten Schritt aus, der durch die modellprädiktive Regelung geplant wurde. Anschließend wird der vom System tatsächlich beobachtete nächste Zustand als selbstüberwachtes Signal genutzt, um das Weltmodell online zu aktualisieren. Dadurch ist das für die nächste Planungsrunde verwendete Modell nicht mehr die eingefrorene Version vom Zeitpunkt der Bereitstellung, sondern ein an die aktuelle Umgebung angepasstes Modell.
Diese Vorgehensweise ähnelt der Dyna-Architektur aus dem klassischen Reinforcement Learning, bei der das Modell nicht in einem Durchgang trainiert wird, sondern sein Verständnis der Umgebung während der realen Interaktion kontinuierlich korrigiert.
Bisher wurden bei latenten Raum-Weltmodellen basierend auf der JEPA-Route die Parameter standardmäßig nach Abschluss des Trainings eingefroren. Der gesamte Ablauf ist: Das Modell lernt zunächst aus Offline-Trajektorien, hochdimensionale Bilder in einen latenten Raum zu komprimieren, und sagt dann in diesem latenten Raum zukünftige Zustände vorher. In der Testphase ruft die modellprädiktive Regelung dieses eingefrorene Modell auf, „stellt sich" die Zukunft im latenten Raum vor, optimiert die Aktionssequenz und führt nur den ersten Schritt in der realen Umgebung aus.
Die Herausforderung dieser Methode besteht darin, dass das eingefrorene Weltmodell bei Veränderungen der Umgebung leicht ungenau wird. Bei einer Verteilungsverschiebung zur Testzeit können Aktionen, die im latenten Raum scheinbar zum Ziel führen, in der realen Umgebung Abweichungen verursachen. Da die modellprädiktive Regelung auf einer kurzzeitigen Rollout-Planung basiert, werden einzelne Fehler in nachfolgenden Rollouts verstärkt.
Um dieses Problem zu lösen, schlägt die Arbeit das AdaJEPA-Framework vor. Seine Kernaussage ist, dass ein Weltmodell nach dem Training nicht unveränderlich sein sollte, sondern sich wie ein tatsächlich eingesetzter Agent verhalten sollte, der während des Handelns sein eigenes Verständnis mit neuen Erfahrungen kalibriert.
Der Kreislauf von AdaJEPA gliedert sich konkret in vier Schritte. Der erste Schritt ist die Planung: Das Modell kodiert die aktuelle Beobachtung in einen latenten Zustand, führt mit dem aktuellen Weltmodell eine modellprädiktive Regelung durch, rollt die Vorhersagen im latenten Raum aus und findet eine Sequenz von Aktionen, die dem Zielzustand am nächsten kommt. Der zweite Schritt ist die Ausführung: Das Modell führt nur die erste Aktion aus, woraufhin die reale Umgebung die nächste Beobachtung zurückgibt. Der dritte Schritt ist die Aktualisierung: Das System speichert diesen realen Zustandsübergang in einem Online-Puffer. Das Modell sagt basierend auf der Beobachtung und der Aktion den nächsten latenten Zustand vorher und gleicht ihn mit dem latenten Zustand ab, der aus der Kodierung des realen nächsten Zustands gewonnen wurde. Die Parameter werden durch Gradientenberechnung aktualisiert. Der vierte Schritt ist die Neuplanung: Das aktualisierte Weltmodell wird sofort für die nächste Runde der modellprädiktiven Regelung verwendet.
In Bezug auf die Implementierungsdetails basiert AdaJEPA weiterhin auf der Joint-Embedding Predictive Architecture. Im Gegensatz zu traditionellen pixelbasierten Weltmodellen, die zukünftige Bilder direkt vorhersagen, komprimiert die Joint-Embedding Predictive Architecture Bilder in einen kompakteren latenten Raum und sagt nur in diesem latenten Raum zukünftige Zustände vorher. Das gesamte Modell besteht aus drei Kernkomponenten: einem Zustands-Encoder, einem Aktions-Encoder und einem Prädiktor.
Das Online-Update findet im latenten Raum statt. Nach jeder ausgeführten Aktion speichert das System den realen Zustandsübergang in einem Online-Puffer, dessen Standardkapazität die letzten N Übergänge umfasst. Beim Update sagt das Modell basierend auf der aktuellen Beobachtung und Aktion den latenten Zustand zum nächsten Zeitpunkt vorher und gleicht ihn mit dem latenten Zustand ab, der aus der Kodierung der realen nächsten Beobachtung gewonnen wurde. Um zu verhindern, dass das Online-Update den ursprünglichen Repräsentationsraum zerstört, legt die Arbeit zwei Einschränkungen fest: Für die Zielrepräsentation wird stop-gradient verwendet, und es werden nur wenige Parameter aktualisiert. In den Experimenten werden standardmäßig nur die letzten Schichten des visuellen Encoders und des Prädiktors aktualisiert, und bei jeder Neuplanung der modellprädiktiven Regelung wird nur ein Schritt des Gradientenabstiegs durchgeführt.
Um die Wirkung der Testzeit-Anpassung zu validieren, führte die Arbeit Experimente auf den beiden Benchmarks PushT/PushObj und PointMaze durch. Im Test mit unbekannten Formen bei PushObj verdoppelte AdaJEPA die Planungserfolgsrate nahezu. Im Test mit unbekannten Layouts bei PointMaze stieg die GD-Planungserfolgsrate von 53,3 % auf 78,7 %, und die CEM-Planungserfolgsrate stieg von 49,3 % auf 70,7 %.
Bemerkenswert ist, dass diese Online-Aktualisierung nur eine geringe zusätzliche Latenz verursacht. Da nur die letzten Schichten des visuellen Encoders und des Prädiktors aktualisiert werden und bei jeder Neuplanung nur ein Schritt des Gradientenabstiegs durchgeführt wird, beträgt die zusätzliche Latenz nur 0,01 bis 0,03 Sekunden. Dies zeigt, dass AdaJEPA die Erfolgsrate nicht durch aufwändiges Online-Training steigert, sondern dem ursprünglichen Weltmodell einen leichten „Selbstkalibrierungsmechanismus zur Einsatzzeit" hinzufügt.
Die Autorin der Arbeit, Ying Wang, ist derzeit Doktorandin am CILVR Lab des Center for Data Science der New York University. Ihr Forschungsschwerpunkt sind Weltmodelle, und ihre Betreuer sind Mengye Ren und Yann LeCun. Die Autorin Oumayma Bounou ist Postdoktorandin an der New York University. Ihre Forschungsinteressen umfassen Weltmodelle, Steuerung und Optimierung, und sie arbeitet derzeit mit LeCun an Weltmodellen. Mengye Ren, Assistenzprofessor für Informatik und Datenwissenschaft an der New York University, und der Turing-Preisträger Yann LeCun fungieren gemeinsam als leitende Autoren.
Referenzlink: https://arxiv.org/pdf/2606.32026
