de.wedoany.com-Bericht: Das Team um Yang Shuo von der Harbin Institute of Technology (Shenzhen) hat das taktile Weltmodell TouchWorld veröffentlicht. Dieses Modell soll Robotern bei der Ausführung geschickter Manipulationen nicht nur ermöglichen, Bildveränderungen vorherzusagen, sondern auch taktile Rückmeldungen zu antizipieren und zur Korrektur von Bewegungen zu nutzen. Die Veröffentlichung von TouchWorld markiert eine neue Phase der technologischen Entwicklung des Teams rund um den Tastsinn. Zuvor hatte das Team bereits EgoTouch zur Lösung des Problems der taktilen Datenerfassung und TouchAnything zur Wiederherstellung taktiler Informationen aus Ego-Perspektiven-Videos vorgestellt. Diese drei Arbeiten bilden zusammen eine vollständige Kette von der Datenerfassung über die Datenerweiterung bis zur Modellanwendung.
Yang Shuo ist derzeit ordentlicher Professor und Doktorvater an der Fakultät für Informatik und Technologie der Harbin Institute of Technology (Shenzhen) sowie Gründer und CEO von PHANES AI. Das Ziel von PHANES AI ist es, menschliche Videodaten mit der taktilen Wahrnehmungsmodalität zu fusionieren, um ein Weltmodell für die gesamte mobile, geschickte Manipulation humanoider Roboter zu entwickeln und eine vollständige Fähigkeitskette von Daten über Modelle bis hin zur Steuerung aufzubauen. Das Unternehmen ist der Ansicht, dass taktile Daten, taktile Weltmodelle und die Rückkopplungssteuerung von geschickten Händen vor dem Einsatz von Robotern in realen Operationsszenarien noch technisch unreif sind, und hofft, diese Fähigkeiten durch die Nutzung taktiler Daten zu verknüpfen.
Aus Forschungsperspektive betrachtet, ist eine der Kernfragen, mit denen sich das Team um Yang Shuo befasst, die Quelle der Lerndaten für Roboter. Im Bereich der verkörperten Intelligenz werden kontinuierliche menschliche Operationsdaten in der realen Welt zu einem wichtigen Zugang für das maschinelle Lernen von Robotern. Arbeiten wie NVIDIA EgoScale und Generalist/Gen-1 zeigen, dass ein groß angelegtes Pre-Training mit menschlichen Daten, gefolgt von einem Feintuning mit einer kleinen Menge echter Roboterdaten, die Erfolgsquote von Robotern bei langwierigen, komplexen Aufgaben verbessern kann. Das Team weist jedoch darauf hin, dass dieser Ansatz taktile Informationen vermissen lässt. Ego-Perspektiven-Videos ermöglichen es Robotern zwar zu beobachten, wie Menschen operieren, liefern aber keine entscheidenden Informationen wie Fingerdruck, ob ein Objekt rutscht oder ob der Kontakt stabil ist. PHANES AI ist der Ansicht, dass Roboter verstehen müssen, was passiert, wenn die Hand mit einem Objekt in Kontakt kommt – genau das ist der Grund für die Entwicklung der Arbeiten EgoTouch, TouchAnything und TouchWorld.
Die Kernfunktionen von TouchWorld unterteilen sich in einen prädiktiven und einen reaktiven Teil. Der prädiktive Teil bedeutet, dass der Roboter nicht nur zukünftige Bilder, sondern auch den zukünftigen Soll-Kontaktzustand vorhersagen muss. Beispielsweise ist es bei der Aufgabe, den Knopf einer Sprühflasche zu drücken, allein anhand des Bildes schwer zu beurteilen, ob der Knopf vollständig gedrückt wurde. Die Vorhersage taktiler Ziele ermöglicht es dem Roboter jedoch, den erforderlichen Kontakt und Druck der Finger bei der Erledigung der Teilaufgabe zu bestimmen. Der reaktive Teil bezieht sich auf die hochfrequente Korrektur durch taktile Rückmeldung. Bei realen Operationen kann ein Objekt verrutschen oder der Finger den Halt verlieren. Der Roboter muss seine Bewegungen basierend auf der Echtzeit-Tastrückmeldung schnell anpassen, anstatt auf eine Neuplanung durch das übergeordnete Modell zu warten. Im Design von TouchWorld ist die Inferenzfrequenz des Reaktionsmoduls viermal so hoch wie die des taktilen Weltmodells und gibt jedes Mal einen Korrekturwert aus.
TouchWorld wurde an sechs realen Roboteraufgaben getestet: Blumen gießen, Tisch aufräumen, Netzstecker einstecken, Becher einstecken, Topf abwischen und Taschentücher ziehen. In einer störungsfreien Umgebung lag die durchschnittliche Erfolgsquote bei 65,0 %; in Szenarien mit künstlich hinzugefügten Störungen betrug die durchschnittliche Erfolgsquote 57,2 %. Im Vergleich zu Methoden wie Pi-0.5, FTP-1 und GR00T N1.7 übertraf TouchWorld in beiden Einstellungen das jeweils leistungsstärkste Basismodell der Vergleichsmethoden um 15,7 bzw. 16,0 Prozentpunkte. Dieses Ergebnis bestätigt, dass die Vorhersage taktiler Ziele und die hochfrequente Rückkopplungskorrektur die Stabilität der Roboteroperation verbessern können, sobald eine Aufgabe in die Kontaktphase eintritt, und beweist, dass der Tastsinn in die Weltmodelle und Operationsstrategien von Robotern integriert werden kann und nicht auf Sensorablesungen beschränkt ist.
PHANES AI weist darauf hin, dass taktile, geschickte Manipulation ein systemisches Problem ist, das nicht durch ein einzelnes Punktmodell gelöst werden kann. Während des Forschungs- und Entwicklungsprozesses stieß das Team auf Probleme, da es für hochgradig frei bewegliche, geschickte Hände an ausgereiften taktilen Lösungen mangelte. Sie schnitten daraufhin selbst taktile Handschuhe zurecht und zogen sie über die fünf Finger der geschickten Hand, stießen jedoch auf Probleme wie die leichte Beschädigbarkeit der Handschuhe, Systemdrift durch die Hitzeentwicklung der geschickten Hand, hohes Datenrauschen und geringe Erfassungseffizienz. Daher investiert das Unternehmen in die Dateninfrastruktur und baut eine kostengünstige, unauffällige und tragbare multimodale Datenerfassungsplattform auf, die Informationen aus der Ego-Perspektive, dem Handgelenkswinkel, der Handhaltung, dem gesamten Handflächen-Tastsinn und der gesamten Körperhaltung integriert. Ziel ist es, Robotern Daten zu liefern, die der tatsächlichen menschlichen Handwahrnehmung näher kommen.
PHANES AI möchte die systemischen Fähigkeiten rund um die gesamte mobile, geschickte Manipulation humanoider Roboter vervollständigen, einschließlich taktiler Datenerfassung, taktiler Schätzung, taktiler Weltmodelle, Fernsteuerung und Hardware-Grundlagen, Bewertungssysteme sowie Modelle für die gesamte mobile, geschickte Manipulation. Die technologische Route reicht von EgoTouch und TouchAnything zur Lösung des Problems der taktilen Datenquellen über TouchWorld zur Vorhersage und Nutzung des Tastsinns bis hin zu HumanWBC, das auf einen geschlossenen Kreislauf aus Wahrnehmungsverständnis, autonomer Bewegung, Ganzkörpersteuerung und geschickter Manipulation abzielt. Dies ermöglicht es Robotern, sich von der Fähigkeit des Sehens zur Fähigkeit des Hin-Gehens, Aufnehmens und Erledigens von Aufgaben zu entwickeln.
Das TouchWorld-Papier wurde auf arXiv (arxiv.org/abs/2607.07287) veröffentlicht. Die Projektseite ist phanes-lab.github.io/TouchWorld-website/. Auch das TouchAnything-Papier (arxiv.org/abs/2605.13083) und die dazugehörige Projektseite (jianyi2004.github.io/TouchAnything-Website/) sind öffentlich zugänglich.
