de.wedoany.com-Bericht: Das chinesische Unternehmen UniX AI hat gemeinsam mit der Zhejiang-Universität, dem Massachusetts Institute of Technology, der University of Oxford, der Yale University und der Shanghai Jiao Tong University die neue Forschungsergebnis UniTac veröffentlicht. Es wird eine sensorübergreifende Architektur für taktiles Verständnis und taktile Generierung vorgeschlagen, die in ein Vision-Language-Action-Modell integriert wird. Dadurch wird es Robotern ermöglicht, den taktilen Zustand vor dem Kontakt mit einem Objekt vorherzusagen. Diese Arbeit wurde von der ECCV 2026 angenommen.
Im vergangenen Jahr haben sich verkörperte Basismodelle rasant entwickelt, sodass Roboter in der Lage sind, Objekte mit klaren Konturen zu manipulieren. Bei flexiblen Objekten, empfindlichen Objekten oder in dichten Kontaktszenarien sind Roboter jedoch allein auf visuelle Informationen angewiesen und stoßen an ihre Grenzen. Aufgaben wie das Aufnehmen einer Weintraube, ohne sie zu zerdrücken, oder das Greifen eines Pappbechers, ohne ihn zu verformen, erfordern eine menschenähnliche taktile Wahrnehmungsfähigkeit des Roboters. Mit fortschreitender Forschung haben Teams wie UniTouch und AnyTouch versucht, die Darstellungsweisen verschiedener taktiler Sensoren zu vereinheitlichen. FuSe und Tactile-VLA integrieren taktile Informationen in allgemeine Strategien und VLA-Modelle. TacImag erforscht, wie Roboter allein durch visuelle und propriozeptive Informationen Tastsinn „imaginieren" können. Diese Methoden stehen jedoch weiterhin vor Herausforderungen wie heterogenen Sensordaten und der Verteilung von taktilem Verständnis und Generierung auf verschiedene Modelle.
UniTac lernt durch groß angelegtes, multisensorisches Datenlernen eine einheitliche taktile Darstellung, die es Robotern ermöglicht, den taktilen Zustand eines Objekts nach dem Kontakt auf der Grundlage visueller Informationen vorherzusagen, und so eine „Berührung vor dem Kontakt" zu erreichen. Am Beispiel des Greifens eines Pappbechers: Das mit UniTac integrierte VLA-Modell kann die Verformung des Becherkörpers unter Krafteinwirkung vorhersagen und so die Kontaktposition und -kraft bestimmen; das nicht mit UniTac integrierte VLA-Modell drückt den Pappbecher dagegen direkt zusammen. Taktile Informationen werden so von einem Feedback nach dem Kontakt zu einer A-priori-Information vor dem Kontakt verschoben.
Die Interaktion eines Roboters mit der physischen Welt erfordert drei Ebenen der Erdung: Das Vision-Language-Modell ordnet abstrakte Konzepte realen Objekten zu, das Vision-Language-Action-Modell verknüpft Semantik mit Bewegungsbahnen, und die dritte Ebene der Erdung erfordert, dass der Roboter die physikalischen Konsequenzen während des Kontaktprozesses versteht und vorhersagt. Ein rein visuelles VLA-Modell neigt dazu, für optisch ähnliche Objekte dieselbe Strategie anzuwenden. Wenn eine Korrektur erst nach dem Kontakt erfolgt, haben empfindliche Objekte bereits eine Verformung erfahren. UniTac verlagert die Vorhersage des taktilen Zustands auf den Zeitpunkt vor dem ersten Kontakt und liefert dem VLA-Modell A-priori-Informationen über den Kontaktprozess, wodurch der erste Kontakt sicherer wird.
Die zentrale Herausforderung, die UniTac bewältigt, ist die sensorübergreifende Vereinheitlichung taktiler Daten. Visuelle taktile Sensoren (wie GelSight, DIGIT, Duragel) zeichnen die Verformung des Gels unter Druck mit einer Kamera auf. Die Bilder enthalten sowohl Informationen über die Objekteigenschaften als auch über die Sensorkonfiguration. Das Modell muss unterscheiden, welche Veränderungen vom Objekt (Härte, Rauheit, Textur) und welche vom Sensor (Beleuchtung, Gelzustand, Marker-Layout) stammen. Um das Problem der Sensorheterogenität zu lösen, zerlegt UniTac den Tastsinn in zwei Teile: physikalische Eigenschaften und Sensorkonfiguration. Die Verständnisseite lernt gleichzeitig die Beschreibung der Objekteigenschaften und die Sensorerkennung, was das Modell zwingt, die Signalquellen zu unterscheiden. Die Generierungsseite integriert Sensor-Token in den Generierungsprozess, um eine bedingungslose taktile Generierung zu vermeiden. Die abschließenden Experimente zeigen, dass UniTac sowohl auf der Verständnis- als auch auf der Generierungsseite führend ist: Auf PHYSICLEAR-Test erreicht UniTac-7B mit 66,51 Punkten die Nase vorn vor taktilen Verständnismodellen wie Octopi und einheitlichen Modellen wie BLIP3o; bei der Attribut-Objekt-Zuordnungsaufgabe erzielt es 64,61 Punkte. Gegenüber den vier Sensortypen Digit, GelSight, GelSight Mini und Duragel erreicht UniTac einen durchschnittlichen SSIM von 0,836 und einen durchschnittlichen PSNR von 19,93.
UniTac wurde unter der Leitung von UniX AI entwickelt. Das Unternehmen wurde im April 2024 von Dr. Yang Fengyu, einem Absolventen der Yale University, in Suzhou gegründet und ist ein Full-Stack-Unternehmen für verkörperte Intelligenz. Yang Fengyu ist Co-Erstautor der UniTac-Arbeit. Der Co-Erstautor Jiahang Tu kommt von der Zhejiang-Universität und forscht im Bereich Computer Vision und generative Modelle; der korrespondierende Autor Hanbin Zhao ist Assistenzprofessor an der Zhejiang-Universität und forscht seit langem im Bereich maschinelles Lernen und generative Modelle; Zhi Tao von UniX AI ist für die Algorithmen und die Systemimplementierung auf dem realen Roboter verantwortlich. Zu den weiteren Koautoren der Arbeit gehören Chenyang Ma von der University of Oxford, Xihang Yu vom Massachusetts Institute of Technology, Ziyao Zeng und Alex Wong von der Yale University sowie Shaokai Wu von der Shanghai Jiao Tong University. Frühere Arbeiten wie die Touch-and-Go-Datenerfassung, die multisensorische Darstellungsvereinheitlichung von UniTouch und die visuell-taktile 3D-Ausrichtung von TaRF wurden alle im Rahmen der taktilen Route vorangetrieben. UniTac integriert taktiles Verständnis, Generierung und sensorübergreifende Übertragung in eine einheitliche Architektur und liefert taktile A-priori-Informationen für VLA-Modelle. Dies verspricht, die Geschmeidigkeit und Sicherheit von Roboteroperationen in Szenarien wie häuslicher Pflege, Feinmontage und Serviceoperationen zu verbessern.
