de.wedoany.com-Bericht: Am 9. Juli ist die Open-Source-Zusammenarbeit zwischen Nvidia und Hugging Face im Bereich Robotik in eine neue Phase eingetreten. Beide Unternehmen werden Open-Source-Basismodelle, Datenerfassungsframeworks und Trainings- und Bereitstellungsworkflows für die Robotikentwicklung einführen. Dabei werden Nvidias GPU-Ökosystem, der CUDA-Software-Stack, die Isaac-Roboterplattform mit der Hugging Face-Modellbibliothek und der Entwickler-Community kombiniert, um die Hürden für KI-Training, Feinabstimmung und Bereitstellung in der Robotik zu senken.
Der zentrale Einstiegspunkt dieser Zusammenarbeit ist die Open-Source-Robotikbibliothek LeRobot von Hugging Face. LeRobot dient dem Training, Ausführen und Teilen von Robotikdatensätzen, Modellen, Strategien und Workflows. Nvidia integriert Fähigkeiten wie Isaac GR00T 1.7 und Isaac Teleop, sodass Entwickler in einem einheitlichen Prozess Datenerfassung, Datenstandardisierung, Modell-Nachtraining, Leistungsbewertung und Bereitstellung durchführen können. Für die Robotikentwicklung liegen die Herausforderungen nicht nur im Modell selbst, sondern auch in den Datenquellen, Simulationsumgebungen, der Anpassung an reale Roboter, der Aufgabenbewertung und der Bereitstellung auf dem Endgerät. Bisher mussten Entwickler oft Hardwaresteuerung, Trainingsframeworks, Simulationswerkzeuge, Datenformate und Bereitstellungsplattformen separat behandeln, was durch fragmentierte Abläufe die Kosten erhöhte. Nvidia und Hugging Face bringen Robotikmodelle, Daten, Simulationen und Bereitstellungswerkzeuge in einen offenen Workflow und öffnen damit die Entwicklungskette großer Robotikmodelle für die Open-Source-Community.
Isaac GR00T 1.7 ist ein Schlüsselmodell dieser Zusammenarbeit. Es handelt sich um ein offenes visuell-sprachliches Aktionsmodell für humanoide Roboter, das Entwicklern hilft, das Modell an neue Roboterformen und Aufgabenszenarien anzupassen.
Robotik-Basismodelle unterscheiden sich von KI-Modellen, die nur Text oder Bilder verarbeiten. Sie müssen die Beziehungen zwischen visuellen Eingaben, Sprachbefehlen, dem Zustand des Roboters selbst und Aktionsausgaben verstehen und die Ergebnisse in ausführbare Bewegungsstrategien umsetzen. Aktionen wie Greifen, Bewegen, Drehen, Hindernisvermeidung, Platzieren, Öffnen von Türen und Aufräumen von Gegenständen erfordern, dass das Modell einen geschlossenen Kreislauf aus Wahrnehmung, Schlussfolgerung und Steuerung bildet. Nvidias GPU, CUDA, Isaac Sim, Isaac Lab und Jetson-Plattform bieten Fähigkeiten für Training, Simulation, beschleunigtes Rechnen und Bereitstellung auf dem Endgerät; Hugging Face bietet Modellhosting, Datensatzfreigabe, Open-Source-Zusammenarbeit und Entwicklervertriebskanäle. Durch die Kombination können Robotikunternehmen, Forschungseinrichtungen und Entwickler schneller Modelle, Daten und Trainingswerkzeuge erhalten, anstatt von Grund auf mit dem Aufbau von Frameworks zu beginnen.
Isaac Teleop übernimmt die Datenerfassung in der Robotik. Dieses Framework hilft Entwicklern, qualitativ hochwertige menschliche Demonstrationsdaten über externe Geräte zu erfassen und in einem standardisierten, interoperablen Format in LeRobot zu integrieren. Das Robotiktraining ist stark auf Aktionsdaten angewiesen, insbesondere auf menschliche Demonstrationsbahnen, Greifaktionen, Betriebsabläufe und Fehlerbeispiele; je standardisierter diese Daten sind, desto höher ist die Effizienz der Modellwiederverwendung und der Community-Zusammenarbeit.
Nvidia plant außerdem, Cosmos 3 in LeRobot zu integrieren. Cosmos 3 ist ein Welt-Basismodell für physikalische KI, das zur Generierung und Erweiterung von Robotikdaten, zur Simulation von Szenarien und zur Unterstützung der Strategieentwicklung verwendet werden kann, wenn reale Daten unzureichend oder die Datenerfassung zu teuer ist. Das Robotiktraining ist oft durch die Kosten der realen Datenerfassung eingeschränkt, insbesondere in gefährlichen Szenarien, komplexen Arbeitsbedingungen und seltenen Aufgaben. Simulation und synthetische Daten können die Trainingsstichproben ergänzen und dem Modell helfen, vor dem Einsatz in einem echten Roboter mehr Validierungen durchzuführen.
Diese Zusammenarbeit wird das Open-Source-Modelltraining in der Robotik von der „Veröffentlichung einzelner Modelle“ zu einem integrierten Prozess aus „Modell, Daten, Simulation, Nachtraining, Bewertung und Bereitstellung“ weiterentwickeln. Der Fokus wird in Zukunft auf der Anpassungswirkung von GR00T 1.7 auf verschiedenen Roboterplattformen, der Qualität der Datenerfassung durch Isaac Teleop, der Datengenerierungsfähigkeit von Cosmos 3 nach der Integration in LeRobot sowie der Bereitstellungsleistung von visuell-sprachlichen Aktionsmodellen auf Edge-Plattformen wie Jetson liegen.
