de.wedoany.com-Bericht: Der Chinese Danfei Xu hat eine Ökologie und einen Standard für menschliche Bedienungsdaten aus der Ich-Perspektive namens EgoVerse ins Leben gerufen, mit dem Ziel, für das Robotiklernen eine ähnliche katalytische Wirkung zu erzielen wie ImageNet für die visuelle KI. Danfei Xu ist derzeit Assistenzprofessor am College of Computing der Georgia Institute of Technology und Leiter des Robot Learning and Reasoning Lab (RL2). Während seiner Promotion an der Stanford University wurde er gemeinsam von Fei-Fei Li und Silvio Savarese betreut. EgoVerse ist eine nachhaltig wachsende Dateninfrastruktur, deren Allianzpartner die Georgia Institute of Technology, die Stanford University, die ETH Zürich, die University of California San Diego sowie Unternehmen wie Meta, Scale AI, Lightwheel Intelligence, Mecka AI, MicroAGI und Trace Labs umfassen. Lightwheel Intelligence ist das einzige chinesische Unternehmen, das daran teilnimmt.
Das Robotiklernen steht seit langem vor einem Engpass bei der Datengewinnung. Das aktuelle Training ist immer noch auf echte Teleoperation angewiesen. Jede zusätzliche Demonstration erfordert Hardware, Personal und Räumlichkeiten, was hohe Kosten und begrenzte Aufgabenszenarien mit sich bringt. Menschliches Verhalten enthält von Natur aus reichhaltige visuelle und Bewegungsinformationen und ist eine idealere Trainingsquelle. Bisherige menschliche Datensätze waren jedoch meist einmalige Projekte mit uneinheitlichen Erfassungsgeräten, Koordinatensystemen und Aufgabendefinitionen, was ein kombiniertes Training erschwerte. EgoVerse ist als „lebendiger" kollaborativer Rahmen konzipiert, um diese Einschränkung zu überwinden und weltweite verkörperte Daten nach einem einheitlichen „Sprachsystem" fließen zu lassen.
Die aktuelle öffentliche Version von EgoVerse umfasst 1362 Stunden menschliche Demonstrationsdaten, etwa 80.000 Episoden, 1965 Aufgaben, 240 Szenen und 2087 Datensammler. Die Daten umfassen Ich-Perspektiven-Videos, Kameraposen, dreidimensionale Handinformationen und feinkörnige Sprachbeschreibungen. Die Übertragbarkeit wurde in verschiedenen Laboren, mit verschiedenen Robotern und Embodiments validiert.
EgoVerse vereint mehrere führende Institutionen zur gemeinsamen Weiterentwicklung. Die Georgia Institute of Technology übernimmt die organisatorische Zentrale und die Forschungsrahmenrolle, während das Team von Danfei Xu für die Validierung repräsentativer Aufgaben verantwortlich ist. Das Team von Professor Shuran Song von der Stanford University ermöglicht durch die von ihm gegründete UMI (Universal Manipulation Interface) die Übertragbarkeit menschlicher Bedienungsdaten auf verschiedene Roboterplattformen. Meta stellt dem Projekt spezielle Datenbrillen, Project Aria, zur Verfügung. Mecka AI fördert die Ich-Perspektiven-Erfassung mit iPhones und leichten Kopfhalterungen, um die Hardwareschwelle zu senken. Scale AI ist für Datenbereinigung, Annotation und Qualitätsmanagement zuständig. MicroAGI erforscht die dezentrale Crowdsourcing-Erfassung. Auch Trace Labs ist beteiligt. Der Beitrag von Lightwheel Intelligence besteht in der Etablierung eines Qualitätskontrollsystems, das die endseitige Erfassung, die Cloud-Verarbeitung und die Simulationsvalidierung durchgängig abdeckt.
Lightwheel Intelligence unterteilt die Qualität menschlicher Daten in drei Schritte. Erstens wird der Erfassungsprozess durch einen Agenten-gesteuerten Echtzeit-Monitor überwacht, um die Aufgabenintegrität, die Aktionswirksamkeit und die Datenverteilung zu kontrollieren und Abweichungen vor Ort zu korrigieren. Zweitens wird durch eine Cloud-Plattform, die mit verschiedenen Erfassungshardwaren kompatibel ist, ein einheitlicher Datenstandard erreicht, der die Verarbeitung von visuell-inertialen Odometriedaten (VIO), dreidimensionalen Hand- und Körperannotationen sowie V7-Aktionssemantikannotationen umfasst; die menschliche Datenlösung EgoSuite von Lightwheel Intelligence kann diese Annotationen in Produktionsgrößenordnung bereitstellen. Drittens wird mithilfe der Simulationsplattform SimFoundry und der Evaluierungsplattform RoboFinals überprüft, ob die Daten wirklich für das Robotiklernen geeignet sind. Die Evaluierungsergebnisse fließen zurück in die Steuerung der nächsten Erfassungsrunde, wodurch ein geschlossener Datenqualitätskreislauf entsteht.
Lightwheel Intelligence ist gleichzeitig an einem weiteren globalen Physical-AI-Infrastrukturprojekt namens Newton beteiligt. Dieses Projekt wurde gemeinsam von NVIDIA, Google DeepMind und Disney Research ins Leben gerufen. Das technische Lenkungskomitee setzt sich aus NVIDIA, Google DeepMind, Disney Research, Lightwheel Intelligence und dem Toyota Research Institute (TRI) zusammen und zielt darauf ab, die technische Roadmap für Robotersimulation und physikalische Modellierung zu definieren. Lightwheel Intelligence ist derzeit das einzige chinesische Unternehmen, das gleichzeitig an den beiden internationalen Standardsystemen EgoVerse und Newton teilnimmt. Seine Rolle hat sich vom Nutzer der Standards zum Mitdefinierer gewandelt.
