de.wedoany.com-Bericht: CIQ hat bekannt gegeben, dass seine Fuzzball-Plattform eine produktionsreife KI-Berechnungs- und Inferenzumgebung für den NVIDIA DGX Spark bereitstellt. Der DGX Spark ist die erste unterstützte Plattform, weitere werden folgen. KI-Teams können in ihrer eigenen kontrollierten Infrastruktur eine konsistente Umgebung für die Entwicklung, Optimierung und Bereitstellung von Workloads nutzen. Diese Umgebung funktioniert von einem einzelnen DGX Spark bis hin zu großen GPU-Clustern und Rechenzentren auf die gleiche Weise, ohne dass bei einer Skalierung der Rechenleistung neu aufgebaut werden muss.
KI-Teams verbringen Monate damit, vor der Produktionseinführung eines Modells manuell Speicher, Container-Registries, Scheduler, Inferenzserver und Bereitstellungspipelines zusammenzustellen. Jede Änderung der zugrunde liegenden Rechenumgebung zwingt sie, von vorne zu beginnen, was dazu führt, dass Infrastruktur-Upgrades die Workload-Bereitstellung und Monetarisierung verzögern. Fuzzball ersetzt diese Arbeit durch eine sofort einsatzbereite KI-Berechnungs- und Inferenzumgebung, die speziell für private, lokale Inferenz auf dem DGX Spark entwickelt wurde. Für Organisationen, die souveräne KI-Workloads aufbauen (bei denen Daten den Standort nicht verlassen dürfen), bietet dies einen Weg vom privaten Modell-Tuning bis zur Produktionsinferenz, während die Kontrolle über die zugrunde liegende Infrastruktur erhalten bleibt. Die Zeit von der Modellidee bis zum laufenden Inferenzdienst wird von Monaten auf Tage verkürzt.
Gregory Kurtzer, CEO und Gründer von CIQ sowie Gründer von Rocky Linux, erklärte, dass Fuzzball das Kubernetes für leistungsintensives Computing und das sei, was KI-Teams benötigen, um ihre Infrastruktur wirklich zu besitzen. Die Herausforderung bei KI sei nicht das Modell selbst, sondern der Betrieb dieses Modells in großem Maßstab, ohne die zugrunde liegende Umgebung aufgrund von Rechenänderungen neu aufbauen zu müssen. Die meisten Teams verbringen Monate mit diesem Problem, bevor der erste Workload in Produktion geht. Fuzzball beende dies. Mit Hunderten von integrierten Workflow-Vorlagen sei ein einzelner DGX Spark ab dem ersten Tag eine vollständige KI-Entwicklungs-, Test- und Validierungsumgebung, und diese Workflows könnten unverändert auf Tausenden von Systemen und GPUs ausgeführt werden. CIQ stehe für „Controlling Intelligence" (Kontrollierende Intelligenz), und Fuzzball sei der Weg, wie Teams dies erreichen.
Mit Fuzzball wird ein einzelner DGX Spark ab dem ersten Tag zu einer betriebsbereiten KI-Entwicklungs- und Bereitstellungsumgebung, die bei Bedarf direkt auf eine größere Infrastruktur skaliert werden kann. Mehrere DGX Spark-Systeme können in einer einheitlichen Fuzzball-Umgebung zusammenarbeiten und bieten kleinen Teams eine praktische Möglichkeit, ihre lokale Rechenleistung schrittweise zu erweitern. Wenn Workloads die lokale Kapazität überschreiten, können dieselben Container, Modell-Assets und Workflow-Definitionen nahtlos auf größere NVIDIA GPU-Bereitstellungen migriert werden. Benutzer können vom NVIDIA DGX Spark auf das NVIDIA GB300 NVL72 skalieren, ohne die Anwendung, das Fuzzball-Orchestrierungsmodell oder den Fuzzball-Bereitstellungsprozess ändern zu müssen.
Für KI- und HPC-Teams, die zuvor separate Toolchains verwalteten, beseitigt Fuzzball die betriebliche Fragmentierung, die den gesamten KI-Prozess vom Experiment bis zur Produktion behindert. Die Plattform verbindet lokale DGX Spark-Systeme und bestehende HPC-Cluster mit Cloud-Kapazitäten und GPU-Infrastruktur, einschließlich NVIDIA GPU-Systemen, und läuft alles unter einem einzigen Betriebsmodell. Das Ergebnis ist eine neue Generation von beschleunigtem Computing, bei dem jobbasierte Orchestrierung, Workflow-Portabilität, containerisierte Ausführung und Produktionsinferenz zusammenarbeiten.
Bjorn Hovland, Präsident von CIQ, wies darauf hin, dass Organisationen in regulierten Branchen oft zwischen der Einführung von KI in der Produktion und dem Verbleib der Daten in einer kontrollierten Infrastruktur wählen müssten. Fuzzball beseitige diesen Kompromiss. Teams könnten Modelle privat auf dem DGX Spark optimieren, diese Modelle als Produktionsinferenzdienste betreiben und auf eine größere kontrollierte Infrastruktur skalieren, ohne die zugrunde liegende Umgebung zu ändern. Damit souveräne KI praktikabel sei, müsse sie auf jeder Rechenebene gleich funktionieren – genau das biete Fuzzball auf dem DGX Spark. Der DGX Spark sei die erste Plattform, die dies ausführe, aber nicht die letzte.
