de.wedoany.com-Bericht: Alibaba ATH hat das interaktive Open-World-Modellprodukt HappyOyster 1.0 („Happy Oyster“) vorgestellt. Dieses Produkt kann eine digitale Welt aufbauen und in Echtzeit weiterentwickeln, die es Nutzern ermöglicht, in der generierten Umgebung frei zu erkunden und zu interagieren – ein Unterschied zu den derzeitigen einmaligen Text-zu-Video-Produkten auf dem Markt.
Aktuelle KI-Videogenerierungsprodukte haben eine gemeinsame Einschränkung: Nachdem der Nutzer eine Beschreibung eingegeben hat, kann das vom Modell gerenderte Videoclip nicht mehr geändert werden, und es gibt keine Interaktion mit dem Bildinhalt. Mit zunehmender Dauer treten leicht Probleme wie inkonsistente Charakterdarstellungen oder plötzliche Zustandsänderungen von Objekten auf. HappyOyster 1.0 hingegen zielt darauf ab, eine digitale Welt zu schaffen, die darstellbar, erkundbar und interaktiv ist. Nach der Bilderzeugung kann der Nutzer in Echtzeit Anweisungen geben, auf die die Welt reagiert und sich kontinuierlich weiterentwickelt.
Das Produkt bietet zwei Kernmodi. Der Adventure-Modus ist ein Welterkundungsmodus, in dem der Nutzer einen Charakter in der generierten Welt steuern kann, um sich zu bewegen, zu springen, anzugreifen usw. Das Modell passt automatisch spielbare Interaktionsmöglichkeiten an den Szeneninhalt an – erscheint beispielsweise eine Kutsche in der Szene, wird die Reitfunktion freigeschaltet; erscheint ein Auto, können Aktionen wie das Ein- und Ausschalten der Scheinwerfer oder Hupen ausgeführt werden.
Während der Erkundung kann der Nutzer jederzeit Screenshots machen, um Bilder zu speichern, und die Welt speichern, um einen Link per Knopfdruck zu teilen, sodass andere in die vollständige Welt eintreten können. Der Directing-Modus ist ein Echtzeit-Regiemodus, in dem der Nutzer Anweisungen eingeben kann, um die Handlung zu lenken. Er unterstützt multimodale Referenzen und kann das Erscheinungsbild von Charakteren fixieren. Dieser Modus verfügt außerdem über Rückverfolgungs- und Handlungsverzweigungsfunktionen: Der Nutzer kann zu vorherigen Knotenpunkten zurückkehren und andere Anweisungen eingeben, um die Handlung in verschiedene Richtungen zu lenken. Offiziell wird auch ein Erfahrungsleitfaden für das Produkt bereitgestellt, der den Nutzern hilft, bessere Welten zu erschaffen.
Die technische Architektur von HappyOyster 1.0 basiert auf mehreren Kernmethoden. Das Produkt verwendet eine Closed-Loop-Weltzustandsmodellierungstechnik, die den aktuellen Weltzustand in eine latente Zustandszusammenfassung komprimiert und diese rekursiv in der Generierungskette weitergibt, um die Konsistenz bei langen Generierungen zu unterstützen.
Um das Problem der Objektdrift zu lösen, verwendet das Produkt eine dauerhafte Referenzrepräsentation, die an der gesamten Aufmerksamkeitsmechanik teilnimmt, und weist Charakteren, Objekten usw. Kennungen zu, um die Identitätsstabilität zu wahren. Sein offener kausaler Aktionsraum bringt Aktionsanweisungen und natürliche Sprache in dieselbe semantische Schnittstelle, sodass das Modell basierend auf den Anweisungen automatisch eine nachfolgende, kohärente Aktionssequenz ableiten kann. In Bezug auf die Audio-Video-Koordination werden Audio und Video im selben Weltzustand gemeinsam dekodiert und generiert, um sicherzustellen, dass Ton- und Bildänderungen synchron sind und physikalischen Gesetzen entsprechen.
Derzeit, angesichts des Mangels an systematischen Bewertungsstandards im Bereich der Weltmodelle, leitet das HappyOyster-Team in Zusammenarbeit mit der Universität Nanjing den Aufbau entsprechender Bewertungsstandards. Das Produkt ist offiziell online und kann mit einer Handynummer zur Nutzung registriert werden. Offiziell ist auch geplant, in naher Zukunft eine API-Schnittstelle zu öffnen, die in Zukunft in Szenarien wie Spielerstellung, Kurzseriengenerierung, Unterhaltungserlebnisse, digitale menschliche Live-Übertragungen und virtuelle Begleitung angewendet werden kann.
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
