OpenAI und Broadcom entwickeln gemeinsamen Chip „Jalapeño" – Einsatz ab Ende 2026

de.wedoany.com-Bericht: Der von OpenAI in Zusammenarbeit mit Broadcom entwickelte Inferenzchip Jalapeño soll Ende 2026 in kleiner Stückzahl ausgeliefert werden. Ho schätzt, dass die Einführung zunächst „in sehr geringem Umfang" erfolgt, während eine breitere Skalierung im Jahr 2027 stattfinden soll. Als Leistungsmaßstab dient das Blackwell-System von Nvidia, doch bis Jalapeño vollständig ausgerollt ist, könnten die Produkte der Konkurrenz bereits deutlich fortgeschritten sein.

Jalapeño wurde erstmals im Oktober letzten Jahres öffentlich vorgestellt und in enger Zusammenarbeit zwischen OpenAI und Broadcom entwickelt, wobei auch OpenAIs eigene Modelle in den Entwicklungsprozess einflossen. Das Unternehmen plant, Jalapeño als Multi-Generations-Plattform zu etablieren, die eine gemeinsame Entwicklung von KI-Produkten, Modellen, Chips und Speicher ermöglicht.

Dieser Full-Stack-Ansatz ermöglicht es OpenAI, gezielt die Phasen zu optimieren, die während der Inferenz Reibungsverluste verursachen. Das Design von Jalapeño konzentriert sich darauf, die Latenz in der Prefill- und Kommunikationsphase zu minimieren – zwei Phasen, die OpenAI als Engpässe der Inferenz identifiziert hat.

„Wir haben Jalapeño so konzipiert, dass Datenbewegungen und Kommunikationslatenz minimiert werden", erklärte das Unternehmen in einem Blogbeitrag, in dem die Ergebnisse vorgestellt wurden. „Das bedeutet, dass der Modellzustand (einschließlich des KV-Cache, der bei der Generierung von Antworten verwendet wird) explizit platziert und lokal gehalten werden kann, während das System für jede Inferenzphase die richtige Kombination aus Rechenleistung, Speicher und Netzwerk aktiviert."