de.wedoany.com-Bericht: Am 15. Juli hat Xiaomi offiziell das autoregressive Weltbasis-Modell Xiaomi-Robotics-U0 mit 380 Milliarden Parametern vorgestellt. Es ist das erste einheitliche embodiede Generierungsmodell, das ein Bildgenerierungs-Basismodell mit embodieder Weltmodellierung kombiniert. Es belegt den ersten Platz in der embodieden Videogenerierung der World Arena und verbessert den durchschnittlichen Fortschritt bei der Aufgabenerfüllung in anspruchsvollen realen Robotertests um über 26 %.
Im Gegensatz zu herkömmlichen embodieden Weltmodellen, die nur auf Robotertrajektorien trainiert werden, vereint Xiaomi-Robotics-U0 in einem einzigen autoregressiven Framework die mehransichtige embodiede Szenengenerierung, embodiede Übertragung, Robotik-Interaktionsvideogenerierung, allgemeine Text-zu-Bild-Generierung und Bildbearbeitungsfunktionen. Das Modell betrachtet die embodiede Generierung als Erweiterung der grundlegenden Bild- und Videogenerierung und kann direkt auf Sprachbefehle hin mehransichtige Robotik-Beobachtungsdaten generieren, die den physikalischen Gesetzen entsprechen.
Bei der embodieden Szenengenerierung unterstützt das Modell die Generierung aus mehreren Perspektiven. Bei der embodieden Übertragung kann Xiaomi-Robotics-U0 unter Beibehaltung des Robotik-Interaktionsverhaltens bestehende Szenen in neue Szenen übertragen und durch Entkopplung von Dimensionen wie Arbeitsraum, Hintergrund und Beleuchtung eine exponentielle Szenenerweiterung erreichen. Bei der Robotik-Interaktionsvideogenerierung kann das Modell auf Basis der anfänglichen Beobachtung und des Operationsbefehls den zukünftigen Interaktionsprozess vorhersagen, unterstützt Szenen-Scrolling und mehrperspektivische Vorhersagen und verfügt über eine Zero-Shot-Generalisierungsfähigkeit.
Bei der allgemeinen Text-zu-Bild-Generierung und Bildbearbeitung behält Xiaomi-Robotics-U0 gleichzeitig die entsprechenden Fähigkeiten bei und ermöglicht eine hochgetreue visuelle Synthese über Szenen, Objekte und Stile hinweg. Es unterstützt befehlsgesteuerte Bearbeitung, bei der die Absicht geändert wird, während die Struktur erhalten bleibt.
In manuellen Bewertungen übertraf Xiaomi-Robotics-U0 GPT-Image-2.0 bei der embodieden Szenengenerierung und der embodieden Übertragung. Bei feinmotorischen Aufgaben, der Handhabung verformbarer Objekte und langfristigen Aufgaben verbesserte die mit diesem Modell augmentierte Datenstrategie den durchschnittlichen Fortschritt der Aufgabenerfüllung unter unbekannten Lichtverhältnissen und fremden Hintergrundstörungen um 26,3 %. Im Vergleich zu GPT-Image-2 zeigte Xiaomi-Robotics-U0 deutliche Vorteile in der Mehransichtenkonsistenz, der feinkörnigen Steuerbarkeit und der Übertragungsrobustheit und vermied effektiv Probleme wie Objektfehlstellungen und räumliche Verzerrungen zwischen den Ansichten.
Auf dem von der Tsinghua-Universität, der Peking-Universität und anderen gemeinsam entwickelten World Arena-Benchmark belegte Xiaomi-Robotics-U0 den ersten Platz unter über 100 Modellen und erzielte die höchsten Punktzahlen in den Bereichen Steuerbarkeit, Befehlsbefolgung und Interaktionsqualität.
Xiaomi hat außerdem das FlashAR+-Inferenzbeschleunigungsschema eingeführt. Durch leichtgewichtige Nachbearbeitung und vLLM-Technologie, kombiniert mit diagonalem parallelem Decoding und Paged-Key-Value-Cache-Batch-Scheduling, wurde die Generierungszeit für eine einzelne Probe bei einer Auflösung von 1024*1024 von 450,77 Sekunden auf 5,44 Sekunden verkürzt, was einer Effizienzsteigerung um das 82,9-Fache entspricht.
Bei der tatsächlichen Implementierung im Xiaomi-Automobilwerk führen Xiaomi-Roboter bereits Aufgaben an der Arbeitsstation für das Einsetzen von selbstschneidenden Muttern aus. Die Erfolgsrate für beidseitige Operationen wurde auf 98 % gesteigert, und bei der Sortierung der Seitenabdeckungen der Mittelkonsole sowie beim Zusammenfalten und Recyceln von Behältern wurde eine Erfolgsrate von 90 % erreicht.
Der Kerndurchbruch von Xiaomi-Robotics-U0 liegt in der Übertragung von visuellem Wissen aus dem Internet-Maßstab auf embodiede Szenen. Dies verändert den bisherigen traditionellen Ansatz, der nur auf Robotertrajektoriendaten für das Feintuning angewiesen war, und bietet eine neue technische Richtung für den Aufbau skalierbarer Daten-Engines für embodiede intelligente Systeme.
