de.wedoany.com-Bericht: Eine neue Studie stellt einen generativen Prozess zur Schulung der mobilen Manipulationsfähigkeiten humanoider Roboter vor, der ohne manuelle Annotation große Mengen gepaarter Daten erzeugt.
Für die wahrnehmungsgesteuerte mobile Manipulation humanoider Roboter müssen eigene Beobachtungen und Aufgabenanweisungen mit Ganzkörperbewegungen verknüpft werden. Das Erlernen dieser Abbildung erfordert synchronisierte egozentrische Bilder, Sprachbefehle und roboterkompatible kinematische Trajektorien – vollständige Tupel, die bestehende Datenquellen nicht in großem Maßstab bereitstellen können. Das Forschungsteam löst diesen Engpass durch die synthetische Generierung visuell-linguistisch-kinematischer (VLK) Überwachung in rekonstruierten Szenen.
Der Prozess nutzt 3D Gaussian Splatting zur Rekonstruktion maßstabsgetreuer Innenräume, synthetisiert Navigations- und Objektinteraktionstrajektorien mithilfe privilegierter Szeneninformationen und rendert nachträglich gepaarte egozentrische Beobachtungen. Ohne menschliches Eingreifen erzeugten die Forscher 48.000 gepaarte Trajektorien und trainierten eine VLK-Strategie, die kurzzeitige Ganzkörper-Kinematiktrajektorien vorhersagt. Ein Ganzkörper-Tracker übersetzt diese Vorhersagen in tatsächliche Bewegungen des physischen humanoiden Roboters.
Zur Validierung der Methode führte das Team Navigations- und Einzelobjekttransportaufgaben auf dem physischen humanoiden Roboter Unitree G1 durch. Die Ergebnisse zeigen, dass synthetische Interaktionen aus rekonstruierten Szenen eine effektive Überwachung für die wahrnehmungsbasierte mobile Manipulation humanoider Roboter im Sim-to-Real-Ansatz bieten können. Die Projektwebsite ist öffentlich zugänglich.
