US-Unternehmen Modal plant Einsatz von Nvidia Vera Prozessoren

de.wedoany.com-Bericht: Am 19. Oktober kündigte das US-amerikanische KI-Cloud-Computing-Unternehmen Modal an, den Einsatz von Nvidia Vera Central Processing Units (CPUs) zu planen, um seinen isolierten Cloud-Computing-Dienst Modal Sandboxes mit Rechenleistung zu unterstützen. Das Unternehmen hat bereits den ersten Vera-Server erhalten und erste Leistungstests abgeschlossen. Bei Tests mit hochkonkurrierenden KI-Aufgaben erreichte der Vera-Prozessor einen Task-Durchsatz von bis zu dem Doppelten vergleichbarer Systeme mit Intel Granite Rapids. Modal plant, ihn in seine bestehende Recheninfrastruktur zu integrieren, um KI-Agenten und Reinforcement-Learning-Aufgaben zu unterstützen.

Modal setzte bisher hauptsächlich x86-Prozessoren von Intel und AMD ein, um KI-Entwicklern Cloud-Rechenressourcen bereitzustellen. Der Sandboxes-Dienst kann Hunderte von Containern und virtuellen Maschinen gleichzeitig auf einem einzigen Server ausführen, um Code-Kompilierung, Dateisuche, Programmtests und Automatisierungsaufgaben durchzuführen. Das Unternehmen wird weiterhin Intel- und AMD-Prozessoren beibehalten und die Hardware-Plattform je nach Rechenlast auswählen.

Das Modal-Engineering-Team entwickelte das Testwerkzeug Agentless Agent Bench, das 50 Aufgaben aus Terminal-Bench verwendet, um Vera, Intel Granite Rapids, AMD Zen 5 und Amazon Graviton Prozessoren zu testen. Die Tests umfassen Arbeitslasten wie Code-Kompilierung, Git-Operationen, Dateisuche und Geräteemulation. Die Ergebnisse zeigen, dass Vera bei einigen Einzelaufgaben-Tests eine niedrigere Latenz erzielte und sich der Vorteil beim Task-Durchsatz mit steigender Anzahl gleichzeitiger Container weiter vergrößerte.

Der Nvidia Vera Prozessor verwendet die selbst entwickelte Olympus-Kernarchitektur, verfügt über 88 CPU-Kerne, unterstützt 176 Threads und erreicht eine LPDDR5X-Speicherbandbreite von bis zu 1,2 TB pro Sekunde. Der Prozessor kann sowohl in eigenständigen CPU-Servern als auch gemeinsam mit Nvidia GPUs auf der Vera Rubin Computing-Plattform eingesetzt werden. Die bestehende Infrastruktur von Modal läuft hauptsächlich auf x86-Architektur; die Integration der Arm-kompatiblen Architektur von Vera erfordert Anpassungen der Server-Laufzeitumgebung, der Container-Image-Erstellung und der zugehörigen Softwaresysteme.

Modal hat kürzlich eine Finanzierungsrunde in Höhe von 750 Millionen US-Dollar abgeschlossen, wodurch das Unternehmen mit 15,75 Milliarden US-Dollar bewertet wird. Das Unternehmen arbeitet mit Nvidia und Cloud-Dienstleistern zusammen, um die Bereitstellung der Vera-Prozessoren voranzutreiben, und plant, sie für KI-Agenten- und Reinforcement-Learning-Aufgaben einzusetzen. Vera hat die internen Tests von Modal bereits abgeschlossen, ist jedoch noch nicht vollständig in den Produktionsrechenclustern des Unternehmens im Einsatz.