de.wedoany.com-Bericht: NVIDIA GEAR hat gemeinsam mit dem Team von Fei-Fei Li, dem Georgia Institute of Technology und weiteren Institutionen das Real2Sim-System SimFoundry veröffentlicht. Dieses System kann aus einem realen Video automatisch eine interaktive, trainierbare und evaluierbare Robotersimulationsumgebung generieren.
SimFoundry kann Objekte automatisch austauschen, das Szenenlayout anpassen und neue Aufgaben generieren, während die Funktionalität und Affordance der Objekte unverändert bleiben. Dadurch wird aus einem einzigen Video ein nahezu unendlicher Raum für die Generierung von Simulationsdaten geschaffen. Das System schließt den Real-to-Sim-Kreislauf aus Szenengenerierung, Datengenerierung, Strategieevaluierung und Strategietraining.
Das Training von Roboterstrategien ist seit langem auf teure reale Daten angewiesen, wobei Simulationsumgebungen eine skalierbare Alternative darstellen. Allerdings erfordert der Aufbau von Simulationsumgebungen mit realistischer geometrischer und physikalischer Interaktion weiterhin viel manuelle Modellierung. SimFoundry nutzt 3D-Rekonstruktion und generative Modelle, um die reale Welt schnell in eine Sim-ready-Umgebung zu verwandeln, die physikalische Interaktionen unterstützt.
Roboterstrategien, die auf den von SimFoundry generierten Daten trainiert wurden, können ohne zusätzliches Training (Zero-Shot) auf reale Roboter übertragen werden und ermöglichen eine reale Übertragung bei Aufgaben wie mehrschrittigen Operationen, Zweiarm-Kooperation und der Handhabung von Objekten mit Gelenken.
Der Prozess von SimFoundry gliedert sich in drei Phasen: Extraction (Extraktion), Generation (Generierung) und Augmentation (Erweiterung). In der Extraktionsphase identifiziert und segmentiert das System nach Eingabe eines RGB-Videos mithilfe von Tiefenschätzung und visuellen Sprachmodellen (VLM) die Objekte in der Szene. Die Generierungsphase nutzt 2D-to-3D-Modelle zur Erstellung von 3D-Netzen, stellt mit Modellen wie FoundationPose die Objektposen wieder her, leitet für Gelenkobjekte die Gelenkstruktur ab und exportiert schließlich eine für Physik-Engines wie IsaacLab geeignete Simulationsszene, um einen Digital Twin (digitalen Zwilling) zu erstellen.
Die Augmentation ist die Kerninnovation von SimFoundry. Sie generiert automatisch Digital Cousins (digitale Verwandte) auf Basis des digitalen Zwillings und erweitert diesen in drei Dimensionen: Änderung des Aussehens und der geometrischen Form von Objekten unter Beibehaltung der Funktionalität (Object Cousins); Anpassung des Objektlayouts oder Hinzufügen neuer Objekte zur Erzeugung neuer Szenen (Scene Cousins); automatische Ableitung neuer Aufgaben basierend auf der Affordance der Szenenobjekte (Task Cousins).
Die Studie validierte die Wirksamkeit von SimFoundry auf zwei Roboterplattformen und bei sieben Arten von Aufgaben. In den Strategieevaluierungsexperimenten stimmte die Leistung der Roboter in SimFoundry sehr gut mit der realen Welt überein, mit einem durchschnittlichen Pearson-Korrelationskoeffizienten von 0,911 und einer durchschnittlichen maximalen Rangverletzung (MMRV) von 0,018. Nach der Einführung von Digital Cousins stieg die durchschnittliche Erfolgsrate der Roboter in der realen Welt im Vergleich zur alleinigen Nutzung des digitalen Zwillings um 17 % (Object Cousins), 21 % (Scene Cousins) bzw. 40 % (Task Cousins).
Die Autoren dieser Forschungsarbeit stammen von NVIDIA GEAR, dem Georgia Institute of Technology, der Stanford University, der UT Austin und der University of Toronto. Zu den Hauptforschern gehören der Erstautor Nadun Ranawaka Arachchige, Josiah Wong, Jiangyun Fan, Tianyuan Dai, Masoud Moghani, Hang Yin sowie Jim Fan, Fei-Fei Li, Danfei Xu, Yuke Zhu, Ajay Mandlekar, Ruohan Zhang, Wenbowen und andere.
