de.wedoany.com-Bericht: Am 7. Juli gab der US-amerikanische Chip- und KI-Computing-Konzern Nvidia eine Partnerschaft mit der US-amerikanischen KI-Open-Source-Plattform Hugging Face bekannt. Im Rahmen dieser Kooperation werden NVIDIA Isaac GR00T 1.7 und NVIDIA Isaac Teleop in die Open-Source-Robotik-Bibliothek LeRobot integriert. Später ist auch die Einbindung des NVIDIA Cosmos 3-Modells geplant. Diese Integration richtet sich an die Bereiche Datenerfassung, Modelltraining, Post-Training, Bereitstellung und Workflow-Management für Robotik-Entwickler und zielt darauf ab, die Verfügbarkeit offener physikalischer KI-Werkzeuge zu erweitern.

LeRobot ist eine von Hugging Face eingeführte Open-Source-Robotik-Bibliothek zum Trainieren, Ausführen und Teilen von Robotik-Datensätzen, Modellen, Strategien und Workflows. Sie fungiert eher als einheitliche Zugangsschicht im Robotik-Entwicklungsprozess, die es Entwicklern ermöglicht, bei der Datenverwaltung, dem Modelltraining, der Strategiebewertung und den Bereitstellungsabläufen zusammenzuarbeiten. Nachdem Nvidia Isaac GR00T 1.7 und Isaac Teleop in LeRobot integriert hat, können Robotik-Entwickler die entsprechenden Modelle, Fernbedienungswerkzeuge und Datenformate in einer standardisierteren Umgebung nutzen, was die Anpassungskosten zwischen verschiedenen Toolchains reduziert.

NVIDIA Isaac GR00T 1.7 ist ein von Nvidia für den Robotikbereich entwickeltes Basismodell. Es hilft Entwicklern, qualitativ hochwertige menschliche Demonstrationen über externe Geräte zu erfassen und diese in einem standardisierten, interoperablen Format in LeRobot zu integrieren. Das Robotiklernen ist stark auf reale Betriebsdaten angewiesen, insbesondere in Szenarien wie Greifen, Bewegen, Zweiarm-Kooperation und der Ausführung komplexer Aufgaben. Es ist schwierig, die Veränderungen in der realen Umgebung allein durch Simulationsdaten oder manuell erstellte Regeln abzudecken. Mit der Integration von GR00T 1.7 in LeRobot können Entwickler Demonstrationsdaten, Post-Training-Prozesse und die Entwicklung von Roboterstrategien miteinander verbinden und die Modellanpassung auf einheitlichere Weise vorantreiben.

Isaac Teleop übernimmt die Rolle eines Fernbedienungs-Frameworks. Entwickler können über die Fernbedienung menschliche Demonstrationsdaten erfassen, die der Roboter bei der Ausführung von Aufgaben sammelt, und diese dann über den LeRobot-Workflow für Post-Training und Bereitstellung nutzen. Damit ein Roboter reale Bewegungen erlernen kann, ist eine große Anzahl hochwertiger menschlicher Demonstrationen erforderlich. Fernbedienungswerkzeuge ermöglichen es Entwicklern, Daten von verschiedenen Robotern, Aufgaben und Szenarien bequemer zu erfassen. Nach der Integration von Isaac Teleop in den Open-Source-Workflow wird die Datenerfassung nicht mehr nur eine Fähigkeit innerhalb geschlossener Systeme sein, sondern in die breitere Robotik-Entwicklergemeinschaft einfließen.

Die spätere Integration von NVIDIA Cosmos 3 wird die Fähigkeiten des physikalischen KI-Welt-Basismodells in das LeRobot-Ökosystem einbringen. Die Robotik-Entwicklung ist oft durch die hohen Kosten der Datenerfassung in der realen Welt eingeschränkt. Viele Szenarien lassen sich nicht einfach durch wiederholten Robotereinsatz zur Datengewinnung abdecken, und es ist auch nicht geeignet, mit hohem Risiko vor Ort zu experimentieren. Cosmos 3 kann zur Generierung und Anreicherung von Robotik-Daten, zum Aufbau von Simulationsszenarien und zur Unterstützung der Strategieentwicklung eingesetzt werden. So können Entwickler das Training und die Evaluierung auch dann vorantreiben, wenn nicht genügend reale Daten vorhanden sind. Durch die Kombination von realen Daten, Fernbedienungsdaten und synthetischen Daten werden die Trainingsmaterialien für Robotermodelle reichhaltiger, und es wird einfacher, langschwänzige Aufgaben abzudecken.

Diese Zusammenarbeit verbindet auch die Entwickler-Ökosysteme beider Unternehmen. Nvidia verfügt über etwa 3 Millionen Robotik-Entwickler, Hugging Face über etwa 16 Millionen KI-Entwickler, und LeRobot bietet einen Einstiegspunkt für die Open-Source-Community-Zusammenarbeit. Die Robotik-Entwicklung war in der Vergangenheit oft auf Hardware-Hersteller, Simulationsplattformen, Labor-Code-Bibliotheken und spezielle Software-Umgebungen verteilt, wobei eine Toolchain-Isolation zwischen KI-Entwicklern und Robotik-Entwicklern bestand. Die Verbindung von GR00T, Teleop, Cosmos und LeRobot wird es mehr KI-Entwicklern ermöglichen, mit Robotik-Datensätzen, Strategietraining und physikalischen KI-Workflows in Kontakt zu kommen, und gleichzeitig Robotik-Entwicklern den Zugang zu Open-Source-Modellen und Kollaborationsmethoden im Hugging Face-Ökosystem erleichtern.

Zu den bereits in LeRobot integrierten Nvidia-Ressourcen gehört auch ein Open-Source-Datensatz für physikalische KI. Dieser Datensatz wurde insgesamt über 15 Millionen Mal heruntergeladen und enthält mehr als 350.000 reale und simulierte Trajektorien sowie 57 Millionen Greifdaten, die den Start von Robotik-Workflows unterstützen können. Für Teams, die gerade mit der Robotik-Entwicklung beginnen, sind in der Startphase oft nicht die Modellcodes am schwierigsten zu beschaffen, sondern vielmehr nutzbare Daten, reproduzierbare Experimentierabläufe und standardisierte Evaluierungsressourcen. Die gleichzeitige Integration von Datensätzen, Basismodellen und Fernbedienungswerkzeugen in LeRobot ermöglicht es Entwicklern, schneller einen funktionsfähigen Robotik-Trainingsablauf aufzubauen.

Diese Zusammenarbeit zwischen Nvidia und Hugging Face bringt mehrere Schlüsselelemente der physikalischen KI-Entwicklung auf einen gemeinsamen Open-Source-Pfad: Menschliche Demonstrationsdaten werden über Isaac Teleop erfasst, das Robotik-Basismodell wird über Isaac GR00T 1.7 integriert, synthetische und angereicherte Daten werden später durch Cosmos 3 ergänzt, und die Trainings-, Evaluierungs- und Freigabeprozesse werden von LeRobot getragen. Mit der schrittweisen Freigabe der entsprechenden Modelle und Werkzeuge können Robotik-Entwickler die Datenvorbereitung, Modellanpassung, das Strategietraining und die Bereitstellungsvalidierung auf der Grundlage desselben Open-Source-Workflows durchführen.