de.wedoany.com-Bericht: Nvidia-Gründer und CEO Jensen Huang wies auf der GTC-Konferenz in Taipeh im Juni 2026 darauf hin, dass die größte Herausforderung in der KI-Infrastruktur das Speichersystem sei, das den KV-Cache zur Verwaltung des Arbeitsgedächtnisses von KI-Agenten sowie die Abfrage strukturierter und unstrukturierter Daten und die Erstellung von Datenontologien umfasst. Huang erklärte, dass das KI-Speichersystem das Speichersystem grundlegend verändern werde.
Um den stark gestiegenen Anforderungen an die KV-Cache-Speicherung im Zeitalter der KI-Inferenz gerecht zu werden, hat Nvidia die CMX Context Memory Storage Platform eingeführt, die vom BlueField-4 DPU verwaltet wird. Die Plattform fügt zwischen lokalen SSDs und gemeinsam genutztem Speicher eine kontextbezogene Ebene auf Pod-Ebene hinzu.
Der Aufstieg der agentenbasierten KI verändert die CPU-Architektur. Huang erwähnte, dass Agenten in einer Welt von Nanosekunden leben und jede Wartezeit sie daran hindert, zum nächsten Schritt überzugehen, weshalb extrem niedrige Latenzzeiten oberste Priorität haben. Da sowohl Nvidia als auch Arm CPU-Rack-Lösungen speziell für Agenten auf den Markt bringen, verlagert sich die Branche von einer durchsatzorientierten zu einer latenzorientierten Architektur, was einen zusätzlichen Markt für CPU-Speicher eröffnet.
Öffentliche Daten von Nvidia zeigen, dass die durchschnittliche Anzahl der ausgegebenen Tokens pro Frage seit der zweiten Jahreshälfte 2024 um mehr als das Fünffache pro Jahr gestiegen ist und etwa 30.000 bis 40.000 Tokens erreicht. Dies deutet darauf hin, dass die Branche in die Phase des „Denkens" (Testzeit-Skalierung) der drei Skalierungsgesetze von Nvidia eingetreten ist. Der explosionsartige Anstieg der Token-Ausgabe pro Frage führt direkt zu einem größeren Bedarf an Speicher- und Rechenressourcen.
Im Zeitalter der KI-Inferenz unterscheiden sich die Hardwareanforderungen für KI-Chips und Gesamtsysteme grundlegend von denen des KI-Trainings. Die Inferenz stellt drei Schlüsselanforderungen an die Hardware: höhere Abfragen pro Sekunde, längere Kontextfenster sowie mehr Inferenzschritte und KI-Agenten-Schleifen. Diese Faktoren treiben gemeinsam einen strukturellen Wandel der Speicheranforderungen voran, der aus den drei Dimensionen Modellgewichte, KV-Cache und KI-Agenten analysiert werden kann.
