de.wedoany.com-Bericht: JEDEC (Joint Electron Device Engineering Council) hat eine neue Spezifikation veröffentlicht, die darauf abzielt, die extrem hohen Kosten von HBM (High Bandwidth Memory) zu senken, die für den Betrieb der schnellsten KI-Prozessoren erforderlich sind. Der neue Standard könnte Hochbandbreitenspeicher günstiger machen, indem er die Installation von SPHBM4-Speicherstapeln ohne fortschrittliche Verpackung und die Verwendung kostengünstiger organischer Substrate unterstützt. Er trägt jedoch nicht zur Linderung des DRAM-Mangels bei, da er große HBM4-DRAM-Bauelemente verwendet.
Das Normungsgremium hat die Spezifikation für SPHBM4 (Standard Package High Bandwidth Memory, JESD330-4) veröffentlicht, die HBM4-DRAM-ICs mit einem Standardgehäuse und einer schnellen schmalen 512-Bit-Schnittstelle kombiniert. Obwohl die von HBM3- und HBM4-Speichern verwendeten 1024-Bit- und 2048-Bit-Schnittstellen eine unübertroffene Leistung bieten, verbrauchen die breiten Schnittstellen im Prozessor viel Siliziumfläche und erfordern teure Interposer sowie fortschrittliche Verpackungstechnologien mit begrenzter Kapazität (wie TSMCs CoWoS) für die Integration mit dem Hauptprozessor. Der kommende SPHBM4-Speicher verwendet weiterhin dieselben HBM4-DRAM-Stapel wie JESD270-4, ersetzt jedoch den herkömmlichen HBM4-Basis-Chip durch einen neuen SPHBM4-PHY/Puffer-Chip, der sich durch eine schmalere 512-Bit-Schnittstelle auszeichnet, sodass er ohne komplexe Verpackungsmethoden auf Standard-Organiksubstraten montiert werden kann. Um die Auswirkungen der schmaleren Schnittstelle auszugleichen, unterstützt SPHBM4 höhere Datenübertragungsraten im Bereich von 22,4 GT/s bis 46,0 GT/s.
Im Gegensatz zu HBM4, das eine 2048-Bit-Speicherschnittstelle zur Verbindung mit dem Hauptprozessor verwendet, nutzt SPHBM4 32 unabhängige 16-Bit-DDR-Kanäle, die in acht Vierfachkanäle organisiert sind. Intern enthält ein HBM4-Stapel 32 Speicherkanäle mit jeweils 64 Bit Breite, was eine gesamte externe Schnittstellenbreite von 2048 Bit ergibt. SPHBM4 erfordert die „Umwandlung" des 2048-Bit-internen I/O in eine 512-Bit-externe Schnittstelle, indem es jeweils vier HBM4-Kanäle zu einem Vierfachkanal gruppiert. Dadurch legt ein Vierfachkanal extern 64 Datenpins (4×16 Bit) frei, anstelle der 256 Datenpins (4×64 Bit), die diese vier HBM4-Kanäle normalerweise benötigen würden. Um die Bandbreite zu erhalten, arbeiten diese 64 Pins mit der vierfachen Datenrate der ursprünglichen HBM4-Schnittstelle.
SPHBM4 erhöht die I/O-Bandbreite erheblich, macht aber das DRAM-Array selbst nicht schneller. Der HBM4-Speicherkern behält die gleiche grundlegende Architektur und Taktung bei, einschließlich Kernfrequenz, Zeilenaktivierung, Vorladung und Auffrischungsoperationen, obwohl der zusätzliche PHY voraussichtlich etwas Latenz einführt. Beispielsweise läuft der DRAM-Kern nur mit einem Viertel der externen Schnittstellenfrequenz, bei einer SPHBM4-Geschwindigkeitsklasse von 32 GT/s also mit 2 GHz. Die wesentliche Änderung liegt im neuen Basis-Chip, der einen seriellen Hochgeschwindigkeits-PHY (ähnlich SerDes) implementiert, der jeden externen 16-Bit-Kanal auf vier traditionelle 64-Bit-HBM4-Kanäle abbildet. Daher führt SPHBM4 Entzerrung, Kanaltraining, BER-Anforderungen und andere Hochgeschwindigkeitssignaleigenschaften ein, die bei der langsameren, breiten parallelen Schnittstelle von HBM4 nicht erforderlich sind. Um Übertragungsraten von bis zu 46,0 GT/s pro Pin zu unterstützen, verwendet jeder Vierfachkanal eine gemeinsame Befehls-/Adressschnittstelle, die durch Vorwärtsfehlerkorrektur (FEC) geschützt ist, während die Datenübertragung auf dedizierten differentiellen Schreib- (WCK) und Lesetakten (RCK) sowie ECC- und Fehlermeldesignalen basiert.
In Bezug auf die Kapazität kann SPHBM4 Stapel mit 4, 8, 12 oder 16 DRAM-Chips mit einer Dichte von 24 Gb oder 32 Gb verwenden. Die größte standardisierte SPHBM4-Konfiguration ist daher ein 64-GB-Speicherstapel, der aus 16 32-Gb-DRAM-Chips aufgebaut ist – identisch mit der maximalen Kapazität, die HBM4E unterstützt.
Der Standard unterstützt einen Bump-Abstand von mehr als 90 µm und Kanallängen von bis zu 20 mm, zwei Eigenschaften, die den Verzicht auf teure Interposer und die Verwendung günstigerer organischer Substrate für die Verdrahtung ermöglichen. Allerdings macht der Verzicht auf Interposer und CoWoS (oder ähnliche) Verpackungen SPHBM4 nicht automatisch billig. SPHBM4 benötigt weiterhin eine beträchtliche Anzahl von HBM4-DRAM-ICs, 2,5D-Verpackung, komplexe Basis-Chips (die möglicherweise teurer sind als die bei herkömmlichem HBM4 verwendeten) und fortschrittliche Gehäuseassemblierung mit Silizium-Durchkontaktierungen (TSVs). Darüber hinaus verbraucht die schmale Schnittstelle von SPHBM4 deutlich weniger Chipumfang und Siliziumfläche im Prozessor, was für Unternehmen attraktiv ist, die mehr Rechenleistung und/oder mehr Speicherstapel um den Prozessor herum unterbringen möchten.
In Bezug auf die maximale Leistung überträgt HBM4 Daten mit 8 GT/s (obwohl die meisten Controller und Chips höhere Datenraten unterstützen), sodass ein HBM4-Stapel eine Bandbreite von 2 TB/s bietet. HBM4E erhöht die Datenübertragungsrate auf 12–12,8 GT/s und steigert die Spitzenbandbreite pro Stapel auf 3–3,3 TB/s. Im Vergleich dazu kann ein SPHBM4 mit einer 46-GT/s-Schnittstelle 2,944 TB/s erreichen, aber es ist nicht zu erwarten, dass die ersten Versionen von SPHBM4 die Höchstgeschwindigkeit erreichen. Daher werden HBM4, HBM4E und C-HBM4E auf absehbare Zeit wahrscheinlich einen Leistungsvorsprung gegenüber SPHBM4 in Bezug auf die Bandbreite behalten.
Die Latenz von HBM4 könnte immer noch besser sein als die von SPHBM4. HBM4 ist im Wesentlichen über eine sehr einfache Schnittstelle fast direkt mit dem Hauptprozessor verbunden. Im Gegensatz dazu fügt SPHBM4 einen komplexeren PHY ein, der Serialisierung/Deserialisierung, Kanaltraining, FEC-Verarbeitung und andere Operationen durchführt, die einige Nanosekunden Latenz hinzufügen können. Dies mag für einige Anwendungen kein großes Problem sein, aber Inferenzaufgaben profitieren stark von niedriger Latenz. In Bezug auf Leistungsaufnahme und Spannung teilen sich HBM4 und SPHBM4 die gleiche DRAM-Kernspannung, da SPHBM4 die standardmäßigen HBM4-DRAM-Stapel wiederverwendet. Allerdings unterscheidet sich der I/O: HBM4 überlässt die Schnittstellenspannung dem Speicherhersteller und erlaubt die Implementierung bei 0,7 V, 0,75 V, 0,8 V oder 0,9 V, abhängig von der gewünschten Balance zwischen Leistung, Geschwindigkeit und Signalintegrität. Im Gegensatz dazu standardisiert der SPHBM4-Standard den externen I/O auf 0,75 V. Darüber hinaus überträgt HBM4 Daten über eine sehr breite Schnittstelle mit vielen langsamen parallelen Verbindungen, die tendenziell sehr energieeffizient sind. Im Vergleich dazu überträgt SPHBM4 die gleiche Datenmenge über ein Viertel der Leitungen, die etwa viermal schneller laufen. Hochgeschwindigkeits-Datenübertragung ist tendenziell weniger energieeffizient als die „langsame" Datenübertragung über eine breite Schnittstelle. Angesichts des recht komplexen PHY von SPHBM4, der die breite in eine schmale Schnittstelle umwandelt, ist dies wahrscheinlich ein stromintensiver Prozess. Dennoch könnte die vierfache Reduzierung der Anzahl von Treibern und Empfängern den Stromverbrauch von SPHBM4 tatsächlich senken.
Im Wesentlichen wandelt SPHBM4 die fertigungstechnischen Herausforderungen der Verwendung von Silizium-Interposern in die technische Herausforderung um, extrem komplexe Basis-Chips/PHYs zu entwickeln. Die Entwicklung und Fertigung solcher Basis-Chips sollte für Foundries kein Problem darstellen. Es bleibt jedoch abzuwarten, ob DRAM-Hersteller SPHBM4 mit guter Energieeffizienz entwerfen und produzieren können. Schließlich arbeiten Micron und SK hynix beide mit TSMC zusammen, um C-HBM4E- und HBM4E-Basis-Chips herzustellen, während die Speichersparte von Samsung Basis-Chips von Samsung Foundry verwendet.
Ein interessanter Aspekt von SPHBM4 ist, ob chinesische KI-Beschleuniger-Entwickler von dieser Technologie profitieren können. Theoretisch könnten Unternehmen wie Biren, Huawei, Moore Threads und andere chinesische Entwickler, die auf der schwarzen Liste stehen und keine Chipfertigungs- oder Verpackungsdienste von TSMC nutzen können, zu den größten Nutznießern von SPHBM4 werden, möglicherweise sogar mehr als US-Unternehmen. Erstens kommt der kürzere Chipkanten-Schnittstellenumfang (Shoreline) direkt Chips zugute, die mit älteren Fertigungsprozessen hergestellt werden, da er mehr Rechenleistung verpacken kann, ohne Speicherbandbreite oder -kapazität zu opfern. Zweitens bieten chinesische OSATs (Outsourced Semiconductor Assembly and Test) derzeit keine CoWoS-ähnlichen Technologien an, sodass der Verzicht auf Interposer und die Verwendung fortschrittlicher organischer Substrate ein Vorteil ist. Allerdings benötigt SPHBM4 weiterhin HBM4-DRAM-Stapel, die derzeit nur Samsung, SK hynix und Micron herstellen können, während CXMT (ChangXin Memory Technologies) in China praktisch nur HBM2E produzieren kann. Darüber hinaus ist der Aufbau eines 46-GT/s-PHY sehr schwierig und könnte für chinesische IC-Entwickler eine Herausforderung darstellen. Dennoch ist die Montage von SPHBM4-Gehäusen auf organischen Substraten wohl besser an die bestehende Fertigungsbasis Chinas angepasst, und falls lokale DRAM-Hersteller schließlich wettbewerbsfähigen HBM4-ähnlichen Speicher entwickeln, könnte SPHBM4 die verbleibende Infrastrukturlücke des Landes erheblich verkleinern.
JEDECs SPHBM4 sieht nach einem vielversprechenden Standard aus, der aufgrund der geringeren Integrationskosten ein breiteres Anwendungsspektrum abdecken könnte als HBM4 selbst. Dennoch werden HBM4, HBM4E und C-HBM4E ihre Leistungsführerschaft behalten, was sie in den kommenden Jahren zur ersten Wahl für KI-Beschleuniger der Spitzenklasse macht.
