de.wedoany.com-Bericht: Das US-amerikanische KI-Infrastrukturunternehmen Tensormesh und AMD (Advanced Micro Devices) haben eine Partnerschaft bekannt gegeben, bei der externer Beschleunigerspeicher als Erweiterung der GPU-Kapazität betrachtet wird, um Unternehmen dabei zu helfen, mit weniger GPUs mehr KI-Modelle zu bedienen.
Die am 23. Juli 2026 bekannt gegebene Zusammenarbeit kombiniert die KV-Cache-Lösung von Tensormesh, das LMCache-Management, die AMD-GPU-Technologie und die AMD-Live-Context-Virtualisierungskomponenten. Die neue Architektur beschränkt aktive Inferenzdaten nicht länger auf den High-Bandwidth Memory (HBM), sondern erlaubt es, dass der KV-Cache in eine geschichtete Struktur aus DRAM, SSDs und entferntem Speicher ausgelagert wird.
Die Speicherkapazität ist zum eigentlichen Engpass für die Inferenz großer Sprachmodelle geworden. Zwar bieten mehr GPUs auch mehr HBM, doch steigen dadurch die Kosten für Beschleuniger, der Stromverbrauch und der Infrastrukturbedarf. Prozessoren mit größeren Speicherpools auf der Hardware-Seite könnten denselben Engpass lösen, würden jedoch die Nachfrage nach den ohnehin knappen Speicherkomponenten weiter verschärfen. Tensormesh und AMD schlagen einen alternativen Ansatz vor: Was wäre, wenn Unternehmen den bereits vorhandenen Speicher in jedem Knoten besser nutzen könnten?
KV-Cache-Daten stehen dabei im Fokus. Während der Inferenz speichern Transformer-Modelle zwischenzeitliche Aufmerksamkeitsdaten, um den vollständigen Kontext eines Dialogs oder Dokuments nicht für jedes generierte Token neu berechnen zu müssen. Bei langen Prompts, hohem Parallelitätsgrad oder wenn mehrere Modelle einen Inferenzcluster teilen, wird der Cache sehr groß. Die vLLM-Forschungsarbeit lenkte mit PagedAttention die Aufmerksamkeit der Branche auf eine effizientere KV-Cache-Zuteilung und zeigte den Einfluss des Speichermanagements auf den Inferenzdurchsatz.
LMCache erweitert dieses Konzept auf mehrere Speicherebenen. Laut Tensormesh können aus dem HBM für die kurzfristige Virtualisierung ausgelagerte Cache-Blöcke später für Präfix- oder Nicht-Präfix-KV-Cache-Abgleiche wiederverwendet werden. Das Verschieben von Daten in langsameren Speicher erhöht zwar die Kapazität, doch die Vermeidung von Neuberechnungen ist der Schlüssel, mit dem diese Architektur die Leistung möglicherweise wiederherstellen kann.
Die Tests verwendeten einen Dell-Server mit acht AMD/ATI-Beschleunigern (MI355) GPUs und Dell-Speicher. Bei einem 300 GB großen Dokumentensatz mit Kimi-K2.6 berichteten Tensormesh und AMD, dass die Latenzzeit für das erste Token von 3,4 Sekunden auf unter 0,5 Sekunden gesenkt wurde – eine Verbesserung um fast das Siebenfache. Dieses Ergebnis resultiert aus dem Abruf von zwischengespeicherten KV-Daten aus DRAM und NFS anstelle einer Neuberechnung. Mit zunehmender Arbeitslast blieb der Ausgabedurchsatz bei etwa 48 Token pro Sekunde; im Vergleich dazu sank der Durchsatz bei nicht optimierter Inferenz unter derselben Last um fast 40 %. Laut den berichteten Ergebnissen verdoppelte sich auch die Modelldichte auf derselben Hardware.
Die entsprechenden Ergebnisse wurden vom Anbieter veröffentlicht und nicht von umfassenden unabhängigen Benchmarks. Unternehmensteams müssen diese mit ihren eigenen Modellen, Prompt-Längen und Parallelitätskonfigurationen reproduzieren. MLCommons liefert den notwendigen Kontext für standardisierte Inferenztests: Die Leistung kann je nach Modell, Latenzzielen, Serverkonfiguration und Arbeitslastansatz erheblich variieren.
Eine Verdopplung der Modelldichte bedeutet nicht nur, dass mehr Modelle in einem Rack Platz finden, sondern könnte auch die Wirtschaftlichkeit von internen Assistenten, Retrieval-Augmented Generation und Dokumentenanalysesystemen beeinflussen, indem die Beschleunigerkosten auf mehr Arbeitslasten verteilt werden. Dieser potenzielle Vorteil ist besonders für Unternehmen relevant, die mit großen Dokumentensammlungen arbeiten, da wiederholter Kontext Möglichkeiten zur Cache-Wiederverwendung schafft.
Der Ansatz bringt Abwägungen mit sich. DRAM ist langsamer als HBM, während SSDs und entfernter Speicher zusätzliche Latenz und das Risiko von Netzwerküberlastung mit sich bringen. Eine effektive Abstufung hängt davon ab, welche Cache-Daten in der Nähe der GPU verbleiben sollten und welche verschoben werden können, ohne Service-Level-Ziele zu beeinträchtigen; Cache-Trefferquote, Speicherbandbreite und Orchestrierungsverhalten könnten ebenso wichtig sein wie die nominelle Kapazität.
Der allgemeine Druck dürfte sich nicht schnell verringern. Das Institute for Human-Centered AI der Stanford University (Stanford HAI) dokumentiert den stetig steigenden Rechenbedarf im Zusammenhang mit fortschrittlichen KI-Systemen und untermauert damit die Bedeutung einer verbesserten Auslastung neben der Bereitstellung zusätzlicher Hardware.
Vor dieser Partnerschaft beteiligte sich AMD Ventures an der 20-Millionen-Dollar-Finanzierungsrunde von Tensormesh im Mai 2026. Tensormesh und AMD präsentieren diese Woche auf der AMD Advancing AI 2026 Leistungsergebnisse; der Open-Source-Code von LMCache wird voraussichtlich in einem Monat veröffentlicht. Diese Veröffentlichung könnte den Umfang der Experimente mit mehrschichtigem KV-Cache-Management erweitern und Infrastrukturteams ein klareres Bild davon vermitteln, wie sich der Ansatz außerhalb der anfänglichen Dell-Testumgebung verhält.
