de.wedoany.com-Bericht: Moxin Technology hat gemeinsam mit dem Akademiker Pan Yunhe von der Zhejiang-Universität und Huawei das auf heimischen NPUs basierende Echtzeit-Interaktions-Weltmodell MoWorld vorgestellt. Die Inferenzgeschwindigkeit übersteigt 50 FPS, die Bereitstellungskosten betragen nur 30 % einer vergleichbaren GPU-Lösung.
Im vergangenen Jahr sind Weltmodelle zum Brennpunkt der KI-Branche geworden. Ein echtes Weltmodell muss räumliche Zusammenhänge verstehen und den nächsten Zustand vorhersagen können – Echtzeitfähigkeit ist entscheidend: Erst ab einer Bildrate von über 30 FPS gilt die Darstellung als flüssig, doch die meisten bestehenden Modelle erfüllen diese Anforderung nicht.
Kürzlich hat Moxin Technology, das sich auf die Entwicklung und Industrialisierung von 4D-Weltmodellen spezialisiert hat, gemeinsam mit der Zhejiang-Universität und Huawei MoWorld veröffentlicht. Es ist das erste vollständig auf heimischen NPUs basierende Echtzeit-Interaktions-Weltmodell mit einer Inferenzgeschwindigkeit von über 50 FPS und Bereitstellungskosten von nur 30 % einer vergleichbaren GPU-Lösung. Der technische Bericht ist öffentlich zugänglich, die Projektseite lautet: https://moxin-tech.github.io/moworld/. In Kürze werden Gewichte und Code quelloffen bereitgestellt, und der Dienst wird über heimische NPU-Superknoten angeboten.
Im Vergleich zu Videogenerierungsmodellen liegt der wesentliche Unterschied von Weltmodellen in der Echtzeit-Interaktion. Bisher blieben Weltmodelle meist im akademischen Experimentierstadium. Die entscheidenden Fragen für den Übergang von der Forschung zur Industrie sind, ob sie in Echtzeit interagieren, stabil bereitgestellt und kosteneffizient betrieben werden können. Vor diesem Hintergrund wurde MoWorld entwickelt. Das Team von Moxin und der strategische Anteilseigner Huawei haben nach fast einjähriger technischer Arbeit mehrere Schlüsselprobleme für die praktische Anwendung gelöst. MoWorld empfängt das erste Bild, Text und Kameratrajektorien als Bedingungen, generiert zukünftige Weltzustände, die dem Szenariozustand und den Steuereingaben entsprechen, und ermöglicht dem Benutzer durch kontinuierliche Steuerung eine Echtzeit-Interaktion in der generierten Welt. Auf heimischen NPUs wird eine Inferenz von über 50 FPS erreicht, und das Systemdesign führt zu extrem niedrigen Inferenzkosten.
Für Weltmodelle ist die Generierungsqualität der erste Schritt, aber Trainingskosten, Inferenzeffizienz und Echtzeit-Interaktionsfähigkeit bestimmen die praktische Umsetzbarkeit. MoWorld wurde von der Datenkonstruktion über das Modelltraining bis zur Systembereitstellung durchgängig optimiert. Auf der Datenseite benötigt das Training von Weltmodellen dreidimensionale Informationen wie Videos, Texte, Kameratrajektorien und räumliche Tiefe – Internetvideos erfüllen diese Anforderungen nicht. Daher hat MoWorld auf Basis jahrelanger Forschung zu 3D- und 4D-Modellierung ein skalierbares System zur Datenproduktion und -verwaltung aufgebaut und die Korpusqualität durch mehrdimensionale Qualitätsfilterung verbessert.
Um eine Echtzeit-Bereitstellung zu ermöglichen, hat MoWorld systemweite Optimierungen in den drei Phasen Training, Destillation und Inferenz vorgenommen. In der Trainingsphase wurden unter Berücksichtigung der Hardwareeigenschaften heimischer NPUs ultra-dichte Aufmerksamkeitsparallelisierung und Long-Sequence-Token-Parallelisierungsstrategien eingeführt, um ein extrem langes Training und Inferenz über 2000 Frames zu ermöglichen. In der Inferenzphase werden durch Pipeline-Ausführung, hierarchische Sequenzparallelisierung und dynamische gemischte Präzisionsquantisierung auf der heimischen NPU-Plattform bis zu 50 FPS Echtzeit-Inferenz für das 14B-Parameter-MoE-Modell erreicht, wobei die Inferenzkosten nur 30 % einer vergleichbaren GPU-Lösung betragen.
Von der Daten-Engine-Konstruktion über das Langzeittraining bis zur kostengünstigen Echtzeit-Bereitstellung hat MoWorld das Weltmodell von der Stufe „kann generieren" auf die Stufe „kann interagieren und bereitgestellt werden" gebracht. In Kürze wird MoWorld seine Dienste über heimische NPU-Superknoten anbieten.
Aufbauend auf der Echtzeit-Interaktionsfähigkeit bewegt sich MoWorld von der technischen Validierung hin zur räumlichen Intelligenz-Infrastruktur für mehrere Branchen. Als steuerbare „Raumsimulations-Engine" bietet es der Industrie interaktive, vorhersagbare und wirtschaftliche Szenariogenerierungsfähigkeiten.
Im Bereich Spiele und interaktive Unterhaltung unterstützt MoWorld eine vollständige 6-Freiheitsgrad-Kamerasteuerung. Benutzer können mit W/A/S/D und der Maus ein immersives Erkunden durchführen. Die Szenen unterstützen Auflösungen von 1080P und höher und umfassen Naturlandschaften, Anime sowie Spiel- und Animationsinhalte.
Im Bereich verkörperte Intelligenz und autonomes Fahren bietet MoWorld Robotik- und autonomen Fahrsystemen einen kostengünstigen, hochpräzisen digitalen Übungsplatz. Insbesondere stellt es Fahrentwicklungsteams eine große Anzahl hochpräziser Umgebungen zur Verfügung, sodass KI in der virtuellen Welt die Interaktion mit der physischen Umgebung erlernen kann.
Im Bereich Filmproduktion unterstützt MoWorld Kreatoren dabei, in der generierten virtuellen Welt den Blickwinkel frei anzupassen, Bildeffekte in Echtzeit zu prüfen und Aufnahmen präzise zu bearbeiten, um eine Regie-führende Kameraführung zu ermöglichen.
Im Bereich Digitaler Zwilling und 3D-Rekonstruktion weisen die von MoWorld generierten Videos eine über dem Branchendurchschnitt liegende geometrische Konsistenz auf. Sie können direkt für die 3D-Rekonstruktion von Innenraumszenen verwendet werden – mit hoher Präzision, stabiler Struktur und guter räumlicher Konsistenz. Dies bietet eine hochpräzise und kosteneffiziente Lösung für Szenarien wie Digitale Zwillinge, Gebäudevisualisierung, virtuelle Ausstellungen und immersive Spiele.
Die Wettbewerbslandschaft für große Sprachmodelle und Videogenerierungsmodelle hat sich bereits gefestigt, aber im Bereich der Weltmodelle gibt es noch keinen allgemein anerkannten Marktführer oder Industriestandard. Für heimische Teams ist dies ein wichtiges Zeitfenster. MoWorld ist das erste Produkt, das mit rein heimischen NPUs einen vollständigen Trainings- und Inferenzkreislauf durchläuft, eine Echtzeit-Interaktionsinferenz von über 50 FPS erreicht und dessen Inferenzkosten nur 30 % einer vergleichbaren GPU-Lösung betragen. Das Kapital reagierte schnell: Moxin Technology hat kürzlich eine Finanzierung in Höhe von Hunderten Millionen US-Dollar abgeschlossen, an der sich führende internationale Investmentfonds, ein nationaler strategischer Reservefonds und über zehn Industriekapitalgeber beteiligten. Zuvor hatte Moxin bereits Investitionen von Huaweis Haobo Investment, Lenovos Lianrong Zhidao und anderen Fonds erhalten.
