de.wedoany.com-Bericht: Nutanix hat die KI-Control-Ebene Agent Gateway (Agent-Gateway) vorgestellt, die Unternehmen eine zentrale Verwaltung der Modellnutzung und Optimierung der Token-Kosten ermöglichen soll. Das Tool ist als Antwort auf die „ungeordneten" Token-Kosten gedacht, die entstehen, wenn Mitarbeiter für einfache Aufgaben wie die Zusammenfassung von Dokumenten hochmoderne Modelle nutzen. Es bietet Unternehmen eine einheitliche Ansicht darüber, wer was verwendet und wie der Token-Verbrauch gesteuert werden kann.
Das Gateway wird zwischen Benutzern, Anwendungen und der wachsenden Zahl von Open-Weight-Modellen und hochmodernen Modellen platziert. Es ermöglicht Unternehmen, Richtlinien festzulegen, wer welche Modelle für verschiedene Arbeitslasten und Kosten nutzen darf. Nutanix-CEO Rajiv Ramaswami positioniert die Control-Ebene als ein Werkzeug zur Definition des ROI von KI-Implementierungen, um klar festzulegen, welche Teams welche Tools und Modelle für welche Anwendungsfälle nutzen dürfen und wie viele Token sie ausgeben können.
Ramaswami erklärte auf einer Pressekonferenz, dass derzeit jeder auf alles zugreifen könne. Mit Agent Gateway könnten Unternehmen jedoch Regeln aufstellen, sodass Entwicklungsteams für eine Reihe von Anwendungsfällen „einfache Modelle" verwenden und die fortschrittlichsten Systeme den schwierigsten Multi-Agent-Anwendungen vorbehalten bleiben. Er wies darauf hin, dass das Konzept des KI-Gateways bereits vor der Veröffentlichung in der Führungsebene auf Resonanz gestoßen sei. Auf einer Reise nach London habe die Idee bei Treffen mit CIOs und COOs breite Beachtung gefunden und sei zu einem Thema für Führungskräfte wie CIOs, COOs und sogar CFOs geworden. Nutanix treibe Partner an, um aufzuholen und diese Botschaft an die Kunden weiterzugeben.
Agent Gateway ist Teil des Nutanix-KI-Stacks (Enterprise AI 2.7). Es verbindet KI-Nutzer und -Agenten mit Modellen sowie mit Tools und Servern, die das Model Context Protocol (MCP) unterstützen, und setzt die von den Infrastruktur-Betreibern vorgegebenen Richtlinien und Regeln durch. Ramaswami verspricht, dass die Plattform im Laufe der Zeit weiterentwickelt wird. Er stellt sie sich als „KI in der KI" vor, die in Zukunft intelligenter werden und die Anwendungen selbst verstehen kann, um so das passende Modell selbstständig auszuwählen und die Kosten zu optimieren.
Derzeit ist das Gateway für den GPU-basierten Inferenz-Stack von Nutanix ausgelegt, der auf Kubernetes läuft und gemeinsame Inferenz-Endpunkte für eine Mischung aus Open-Weight-Modellen und hochmodernen Modellen bereitstellt. Der Stack basiert derzeit auf Nvidia, aber Nutanix plant, „bis Ende dieses Jahres" auch AMD zu unterstützen. Dieser Schritt folgt auf eine Investition von 150 Millionen US-Dollar von AMD in Nutanix im Februar. Ramaswami erklärte, Nutanix wolle letztlich hardwareunabhängig sein, die Unterstützung für mehrere Hardware-Plattformen ausbauen und den Inferenz-Stack sowie das Gateway anbieten, um Unternehmen eine kosteneffiziente Bereitstellung und Nutzung von KI zu ermöglichen. In Zukunft könne dies auf Google TPUs oder AMD GPUs laufen und eine Reihe von Kostenoptionen bieten.
