de.wedoany.com-Bericht: NVIDIA hat NVIDIA Cosmos 3 veröffentlicht, ein offenes Weltbasismodell für Physik-KI, das auf einer hybriden Transformer-Architektur aufbaut und visuelles Denken, Welterzeugung und Aktionsvorhersage in einem einzigen System vereint.
Cosmos 3 ist das weltweit erste vollständig offene Allzweckmodell, das nativ Text, Bilder, Videos, Umgebungsgeräusche und Aktionen verstehen und generieren kann. Es bietet eine führende physikalische Genauigkeit und verkürzt den Trainings- und Evaluierungszyklus für Physik-KI von Monaten auf Tage.
Das Modell löst eine grundlegende Herausforderung der Physik-KI: Robotern, autonomen Fahrzeugen oder visuellen Agenten die Generalisierung in der realen Welt mit begrenzten Trainingsdaten und fragmentierten Simulationsumgebungen zu ermöglichen. Seine hybride Transformer-Architektur kombiniert einen Reasoning-Transformer mit einem Expert-Generation-Transformer, sodass Cosmos 3 Objektinteraktionen, Bewegungen sowie räumlich-zeitliche Beziehungen verstehen kann, bevor es Videos und Aktionsverläufe generiert. Das Modell wird auf einem multimodalen Physik-KI-Datensatz mit Milliarden von Text-, Bild-, Video-, Audio- und Aktionsverlaufsproben trainiert und bietet Entwicklern eine leistungsstarke vortrainierte Basis, um Physik-KI-Systeme mit weniger Daten und geringeren Trainingskosten zu erstellen.
In Physik-KI-Benchmarks erzielt Cosmos 3 führende Ergebnisse. Bei offenen Modellen belegt es den ersten Platz in der Weltgenerierungsgenauigkeit in den Bewertungen Artificial Analysis, Physics-IQ, PAI-Bench und R-Bench; den ersten Platz bei Aktionsstrategien in RoboLab und RoboArena; sowie den ersten Platz beim visuellen Verständnis in VANTAGE-Bench und der TAR-Rangliste.
Die Cosmos-3-Serie bietet mehrere Versionen: Cosmos 3 Super eignet sich für nachtrainierte Roboter- und autonome Fahrzeugmodelle, die höchste physikalische Genauigkeit und Generierungsqualität benötigen; Cosmos 3 Nano ist für qualitativ hochwertige Video- und Aktionsinferenz in Sekundenbruchteilen optimiert; Cosmos 3 Edge, das demnächst erscheint, ist für Echtzeit-Inferenz am Edge konzipiert.
NVIDIA hat außerdem die NVIDIA Cosmos Coalition ins Leben gerufen, eine globale Kooperation von Weltmodell-Entwicklern und KI-Entwicklern. Zu den Gründungsmitgliedern gehören Agile Robots, Black Forest Labs, Generalist, LTX, Runway und Skild AI. Die Koalition zielt darauf ab, offene Weltmodelle branchenübergreifend voranzutreiben, sodass Mitglieder Modelle, Forschung und Bewertungstechniken beitragen und gleichzeitig Cosmos-3-Technologie, Trainingswerkzeuge und NVIDIA DGX Cloud-Infrastruktur für groß angelegtes Training nutzen können.
Die Cosmos-Plattform unterstützt den Physik-KI-Stack von NVIDIA, einschließlich neuer Datensätze für Robotik, Physik, menschliche Bewegung, autonomes Fahren, Lagersicherheit und räumliches Denken sowie Physik-KI-Agentenfähigkeiten für neuronale Szenenrekonstruktion, Generierung defekter Bilder und Videoverbesserung. Physik-KI-Entwickler bauen auf dieser Plattform auf, darunter Agile Robots, Doosan Robotics, LG Electronics, Samsung Electronics und Skild AI im Bereich Robotik, Li Auto im Bereich autonomes Fahren sowie Centific, Fogsphere, Linker Vision, Milestone Systems und Yuan im Bereich visuelle KI-Agenten.
Cosmos 3 Super und Cosmos 3 Nano sind ab sofort verfügbar, Cosmos 3 Edge erscheint demnächst. Entwickler können Cosmos 3 auf build.nvidia.com testen, das offene Modell von Hugging Face herunterladen und es mit Hugging Face Diffusers und GitHub-Ressourcen anpassen sowie synthetische Daten generieren. Das Modell kann auch als NVIDIA NIM-Mikroservice bereitgestellt werden. Modellentwickler und Softwareanbieter können über die Physik-KI-Agentenfähigkeiten auf GitHub sowie über Inferenzdienste und Cloud-Infrastrukturpartner (darunter Baseten, CoreWeave, Microsoft Azure, Nebius, Deep Infra, Classmethod) den Zugriff, die Anpassung und die Bereitstellung von Cosmos für kritische Inferenz- und synthetische Daten-Generierungs-Workloads beschleunigen.
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
