de.wedoany.com-Bericht: Chinas JD.com hat auf der World Artificial Intelligence Conference (WAIC) erstmals die gesamte JoyAI-Modellfamilie, die verkörperte Datenerfassungs- und Trainingspipeline sowie das auf JoyInside basierende AI Home vorgestellt. Dies markiert die Erweiterung der physischen KI vom Verständnis digitaler Inhalte hin zur Wahrnehmung der physischen Umgebung, Echtzeitentscheidungen und konkreten Ausführung.
Auf der WAIC präsentierte JD.com die JoyAI-Modell-„Familie“ für die physische Welt, die Sprache, Bilder, Videos, Echtzeitinteraktion und verkörperte Intelligenz umfasst. Im Bereich der visuellen Modelle ermöglicht das quelloffene JoyAI-Image-Edit Perspektivwechsel und räumliche Navigation, JoyAI-Echo erhält durch cross-modales Gedächtnis die Konsistenz langer Videos, und JoyAI-VL-Interaction reduziert Verständnis und Reaktion auf Millisekunden. Das neueste Forschungsergebnis, das Echtzeit-Videobearbeitungsmodell JoyAI-Video-Edit, erlaubt Benutzern, während der Vorschau Änderungen am Bild in Echtzeit vorzunehmen. Im Bereich der Sprachinteraktion veröffentlichte JD.com das Basismodell JoyAI-Voice und das neue Sprachinteraktionsmodell JoyAI-Talker, das Emotionen und wahre Absichten des Benutzers erkennt und über niedrige Latenz sowie die Fähigkeit zur jederzeitigen Unterbrechung verfügt. Im Ausführungsschritt von der Entscheidung zur Aktion zeigte JD.com das mobile Steuerungsbasismodell JoyAI-RA, das durch ein einheitliches Trainingsframework verschiedene Roboter an menschlichen Bedienungserfahrungen ausrichtet.
Um die physische KI in der realen Welt zu unterstützen, hat JD.com die weltweit erste verkörperte Dateninfrastruktur aufgebaut, die die gesamte Kette von Erfassung, Speicherung, Annotation, Training, Bewertung, Simulation und Test abdeckt. Derzeit wurden 600.000 Menschen zur Datenerfassung mobilisiert, und das weltweit größte Zentrum für verkörperte Datenerfassung wurde errichtet. Es wird erwartet, dass innerhalb von zwei Jahren 10 Millionen Stunden menschlicher Realweltdaten gesammelt werden. Auf der WAIC veröffentlichte JD.com den branchenweit größten menschlichen Ego-Perspektiven-Datensatz EgoLive, der 2000 Stunden Video, 65.866 Episoden und 346 reale Aufgaben umfasst. Besucher können das selbst entwickelte ultrahochauflösende Erfassungsterminal JoyEgoCam tragen, Aufgaben vor Regalen ausführen, die Daten werden automatisch annotiert und strukturiert, dann in die digitale Zwillingsumgebung zum Training eingespeist und schließlich auf physische Roboter übertragen, wodurch ein vollständiger Kreislauf entsteht.
JD.com hat die Fähigkeiten des JoyAI-Modells auch in das intelligente Hardware-AI-System JoyInside verpackt, das Wahrnehmung, Verständnis, Gedächtnis und Interaktionsfähigkeiten verbindet, um Sprachverständnis, Absichtserkennung, Langzeitgedächtnis und Multi-Geräte-Koordination im Haushaltskontext zu verarbeiten. Auf der WAIC wurde eine intelligente Schlafmatratze mit JoyInside gezeigt, die Schlafsignale erfasst und aktiv nachfragt; sowie eine JoyInside AI-Projektionslampe, die durch bildschirmlose diffuse Projektion und multimodale Aufgabenkorrektur Echtzeit-Fragenbeantwortung und Korrekturen ermöglicht. Derzeit ist die durchschnittliche Anzahl der Dialogrunden von intelligenten Geräten mit JoyInside um über 120 % gestiegen. Die Kooperation umfasst bereits fast 200 Marken aus den Bereichen Haushaltsgeräte, Möbel, Roboter und KI-Spielzeug. Es wird erwartet, dass in diesem Jahr über 10 Millionen Endgeräte angeschlossen werden.
