de.wedoany.com-Bericht: NVIDIA hat angekündigt, dass der NVIDIA Agent Toolkit nun die NVIDIA Omniverse-Bibliothek umfasst. Dabei handelt es sich um eine Reihe von Softwarekomponenten, die KI-Agenten mit Werkzeugen und Fähigkeiten ausstatten, um bestehenden Anwendungen physikalische KI-Funktionen hinzuzufügen und 3D-Inhalte für Simulationen vorzubereiten.

Roboter, Fabriken und autonome Systeme müssen zunächst in simulierten Umgebungen entworfen, getestet und trainiert werden, bevor sie in der realen Welt zum Einsatz kommen. Die Vorbereitung von 3D-Inhalten für Simulationen erfordert nicht nur realistische visuelle Darstellungen; die Assets müssen zudem über die richtigen Strukturen, Materialien, Proportionen, Beschriftungen, Sensoren und physikalischen Eigenschaften verfügen. Mit der NVIDIA Omniverse-Bibliothek im NVIDIA Agent Toolkit erhalten KI-Agenten die Werkzeuge und Fähigkeiten, um Arbeitsabläufe zu erstellen, Szenen zu überprüfen, Probleme zu kennzeichnen und Assets vorzubereiten. Dies hilft Entwicklern, 3D-Inhalte schneller in simulationsbereite Umgebungen zu konvertieren.

Jensen Huang, Gründer und CEO von NVIDIA, erklärte, dass das Zeitalter der physikalischen KI zunächst in Simulationen aufgebaut werde. Der mit der Omniverse-Bibliothek ausgestattete NVIDIA Agent Toolkit bringe KI-Agenten in die bereits von Entwicklern genutzten 3D-Werkzeuge und helfe ihnen, simulationsbereite Welten zu bauen, in denen Roboter, Fabriken und autonome Systeme trainiert und getestet werden können, bevor sie in die reale Welt gelangen.

Softwarehersteller wie SideFX und PTC integrieren die Omniverse-Bibliothek für agentenbereite Sensorsimulation, Physik und Asset-Verifizierung. Sie bringen KI-Agenten in die 3D-Inhaltsvorbereitungsanwendungen und Arbeitsabläufe, die Entwickler und technische Künstler bereits nutzen.

Die Omniverse-Bibliothek bringt physikalische KI-Fähigkeiten in den NVIDIA Agent Toolkit. Der NVIDIA Agent Toolkit hilft Softwareherstellern beim Bau von KI-Agenten, die Werkzeuge, Fähigkeiten und Datenquellen verbinden. Die Omniverse-Bibliothek erweitert diese Agenten auf 3D- und physikalische KI-Workflows und bietet aufrufbare Werkzeuge für Sensorsimulation, GPU-beschleunigte Physik und simulationsbereite Asset-Verifizierung innerhalb bestehender Anwendungen. Die neuen Omniverse-Bibliotheken umfassen die Fähigkeiten ovrtx, ovphysx und CAD-to-SimReady, die auf GitHub verfügbar sind. Sie statten KI-Agenten mit Werkzeugen aus, um Arbeitsabläufe zu erstellen, Szenen zu überprüfen, Änderungen zu testen und 3D-Assets für Simulationen vorzubereiten. Eine neue Blaupause für die Integration der Omniverse-Bibliothek in Blender ist ebenfalls auf GitHub verfügbar.

Im Bereich der NVIDIA RTX-Sensorsimulation hilft ovrtx Anwendungen, Kamera-, Lidar-, Radar- und andere Sensorausgaben aus 3D-Szenen zu generieren. Dies ermöglicht es Entwicklern und KI-Agenten zu testen, wie physikalische KI-Systeme virtuelle Umgebungen wahrnehmen. In Bezug auf physikalisches Verhalten nutzt ovphysx GPU-beschleunigte Physik, um 3D-Szenen durch Eigenschaften wie Kollision, Masse, Reibung und Bewegung realistisches Verhalten zu verleihen. Teams können so zunächst testen, wie Objekte und Systeme in der Simulation interagieren. Für simulationsbereite 3D-Objekte hilft die CAD-to-SimReady-Fähigkeit, CAD-Daten (Computer Aided Design) in OpenUSD-basierte SimReady-Assets zu konvertieren. Dies versorgt 3D-Inhalte mit den Eigenschaften, die für physikalische KI-Simulationen und virtuelle Tests erforderlich sind.

Softwarehersteller wie SideFX und PTC sowie die Start-ups ForgeCAD, Lightwheel, Moonlake AI und Palatial gehören zu den ersten, die die Omniverse-Bibliothek als Teil des NVIDIA Agent Toolkit übernommen und genutzt haben. SideFX verwendet OpenUSD-Workflows sowie die ovrtx- und ovphysx-Bibliotheken, um zu erforschen, wie Agenten bei der Integration der Omniverse-Bibliothek in die Houdini-Workflows zur prozeduralen 3D-Inhaltserstellung helfen können. Dies bietet technischen Künstlern einen Weg, Inhalte zu generieren, Physik zu testen und für Simulationen vorzubereiten. Kim Davidson, Präsident und CEO von SideFX, betonte, dass die prozedurale 3D-Erstellung für den Aufbau der komplexen, kontrollierbaren Welten, die für Simulationen, Robotik und industrielle KI benötigt werden, von entscheidender Bedeutung sei. Mit der NVIDIA Omniverse-Bibliothek und OpenUSD erforsche SideFX, wie agentenbereite Werkzeuge Houdini-Workflows unterstützen könnten, um technischen Künstlern zu helfen, prozedurale Inhalte für Simulationen zu prüfen, zu testen und vorzubereiten, während die Kontrolle über den kreativen Prozess erhalten bleibe. Die PTC Onshape CAD- und Produktdatenmanagement-Plattform (PDM) verwendet OpenUSD und ovrtx, um cloud-native Design-Workflows mit physikalischen Simulationen zu verbinden. Dies hilft, Produktdesigninhalte mit CAD-, PDM-, Kollaborations- und Simulations-Workflows verbunden zu halten. Neil Barua, Präsident und CEO von PTC, erklärte, dass Ingenieurteams nach stärker vernetzten Wegen suchten, um während des gesamten Entwicklungsprozesses zu entwerfen, zu kollaborieren und zu simulieren. Die Partnerschaft von PTC mit NVIDIA unterstütze diese umfassendere Vision, und die NVIDIA Omniverse-Bibliothek helfe, simulationsbereite Workflows zu realisieren, die Verifizierung und Tests näher an den Ort des Produktdesigns bringen.

Die auf der SIGGRAPH gezeigte „SimReady"-Blender-Demonstration ist ein Beispiel-Workflow, der mit der NVIDIA Omniverse-Bibliothek und NVIDIA NemoClaw in Blender erstellt wurde. Sie zeigt, wie Softwarehersteller agentenbereite Simulationsfähigkeiten zu bestehenden 3D-Anwendungen hinzufügen können. Dies ist nun als Blaupause für die Integration der Omniverse-Bibliothek in Blender verfügbar. Die Demonstration gab auch einen Vorschau darauf, wie diese Workflows lokal ausgeführt werden können, von kompakten RTX-Systemen mit NVIDIA RTX Spark bis hin zu Systemen mit NVIDIA GB300 und NVIDIA DGX Station. RTX Spark-Systeme werden in diesem Herbst von ASUS, Dell Technologies, HP, Lenovo, Microsoft Surface und MSI auf den Markt gebracht, Modelle von Acer und GIGABYTE folgen später. DGX Station-Systeme können bei ASUS, Dell, GIGABYTE, HP, MSI, Supermicro und Exxact bestellt werden.

Auch Start-ups, darunter solche, die dem NVIDIA Inception-Programm angehören, nutzen die Omniverse-Bibliothek und ihre Fähigkeiten, um agentenunterstützte Asset- und Szenenvorbereitungs-Workflows hinzuzufügen. Palatial verwendet die Omniverse CAD-to-SimReady-Fähigkeit, um SimReady-Assets automatisch aus CAD-Eingaben in großem Maßstab zu erstellen und zu verifizieren. Lightwheel nutzt in seiner SimReadyGen-Technologie die von OpenUSD angetriebenen Omniverse-Inhaltsagenten, um aus Texteingaben physikalisch präzise SimReady-Assets zu generieren. ForgeCAD und Moonlake AI erforschen agentengesteuerte 3D-Inhalts-Workflows und nutzen Omniverse-Fähigkeiten, um Assets für physikalische KI-Simulationen zu generieren, zu verbessern und vorzubereiten.