de.wedoany.com-Bericht: Sandisk hat die High-Bandwidth-Flash-Technologie (HBF) vorgestellt, die darauf abzielt, Speicherengpässe bei KI-Inferenz-Workloads zu lösen.
KI-Berechnungen treiben den Wandel der Speicherarchitektur in Rechenzentren voran. Derzeit sind etwa ein Siebtel der Rechenzentren in der Lage, KI-Workloads zu bewältigen, und bis 2030 wird dieser Anteil voraussichtlich auf nahezu 70 % steigen. KI verlagert sich von Hyperscale-Rechenzentren hin zu Unternehmensrechenzentren und Edge-Netzwerken, wobei Edge-KI-Anwendungen bis zum Ende dieses Jahrzehnts voraussichtlich Einnahmen von fast 66,5 Milliarden US-Dollar generieren werden. Diese riesigen Inhaltsrepositorys üben Druck auf traditionelle Speicherarchitekturen aus und legen inhärente architektonische Schwächen offen.
Die in Rechenzentren weit verbreiteten DRAM- und dedizierten High-Bandwidth-Memory (HBM) können hinsichtlich Dichte, Speicherkapazität und Skalierbarkeit zunehmend nicht mit den Anforderungen großer KI-Modelle Schritt halten. Hersteller von Hyperscale-Computing-Systemen stehen vor stetig steigenden Produktionskosten, Designkomplexität und Energieverbrauch von DRAM und HBM. In Unternehmensrechenzentren und Edge-KI-Anwendungen ist diese Herausforderung noch ausgeprägter, da der physische Platz begrenzt ist und höhere Speicherkosten und Stromverbrauch schwer zu tragen sind. KI-Inferenz, die derzeit dominierende Workload, unterscheidet sich in ihren Datenverwaltungsanforderungen grundlegend vom KI-Training und erfordert die Speicherung großer und ständig wachsender KI-Modelle. Speicherlösungen auf Basis von HBM und DRAM stoßen hinsichtlich Kapazität und Kostenskalierbarkeit an ihre Grenzen.
Die Kapazitätserweiterung von DRAM ist weitgehend zum Stillstand gekommen, während der Bedarf an höherer Kapazität für KI-Inferenz wächst. Die Vorteile von DRAM – geringe Latenz und wahlfreier Zugriff – passen nicht zur KI-Inferenz, da die Zugriffsmuster deterministisch sind und eine höhere Toleranz gegenüber Latenzzeiten durch Techniken wie Datenvorabruf aufweisen. Diese Defizite bestehen in einer 120 Milliarden US-Dollar schweren DRAM-Industrie, die mit massiven Ausgaben von Hyperscale-Anbietern für KI-Infrastruktur konfrontiert ist (die bis zum Ende dieses Jahrzehnts 6,7 Billionen US-Dollar erreichen könnten).
Sandisks HBF-Lösung ist eine neuartige Speicherarchitektur, die speziell für die nächste Generation von KI-Berechnungen entwickelt wurde. HBF zielt darauf ab, die Anforderungen an Kapazität, Energieeffizienz, Durchsatz und Skalierbarkeit für anspruchsvolle Berechnungen und datenintensive Anwendungen zu erfüllen. Im Vergleich zu HBM bietet HBF eine höhere Kapazität und Speicherdichte, eine mit HBM vergleichbare Bandbreite und ist besser auf den Trend der KI-Inferenz abgestimmt. Als persistentes Speichermedium behält HBF Daten auch bei Stromausfall und verfügt über thermische Stabilität zur Unterstützung höherer Betriebstemperaturen. Die Technologie nutzt Sandisks BiCS-Design- und Fertigungstechnologie sowie Chip-Architektur, um NAND-Flash durch Optimierung von Hochbandbreiten- und Inferenzspeichereigenschaften neu zu definieren, wobei die BiCS-CMOS-Bonded-Array-Wafer (CBA)-Technologie zur Verbesserung von Energieeffizienz und Bandbreite eingesetzt wird.
Im Vergleich zu herkömmlichem NAND-Flash erreicht HBF durch die Nutzung von Parallelität, fortschrittlicher Logikskalierung und maßgeschneiderten Stapeltechniken eine geringere Latenz und eine deutlich höhere Lesebandbreite. Dadurch können große Sprachmodelle Daten mit einer Geschwindigkeit übertragen, die nahe an DRAM heranreicht. Gleichzeitig unterstützt HBF große KV-Caches, um lange und komplexe Benutzereingabeaufforderungen sowie kunden- und domänenspezifische Daten effizient zu verarbeiten und so die Genauigkeit der KI-Inferenz zu verbessern.
Da HBM aufgrund von Dichte-, Kosten- und Stromverbrauchsbeschränkungen in der Regel nicht in Edge- und mobilen Umgebungen eingesetzt werden kann, bietet HBF Edge-Geräten (wie Smartphones) eine größere Speicherkapazität zur Bewältigung komplexerer KI-Inferenzprobleme. Dank seines persistenten Speichers unterstützt HBF das nahtlose Abrufen alter Kontexte aus früheren Abfragen zur Lösung neuer Probleme. Im Unternehmens-Computing-Bereich, in Umgebungen mit einer deutlich geringeren Benutzerzahl als in Hyperscale-Rechenzentren, sind große, von HBM unterstützte GPU-Cluster zu teuer. Durch den Einsatz von HBF-fähigen Beschleunigern können kleine Unternehmen große vortrainierte Modelle für bestimmte Domänen feinabstimmen.
Im Vergleich zu HBM bietet HBF einen deutlichen Kapazitätsvorteil bei gleichzeitig hohem Durchsatz, der für KI-Inferenzanwendungen erforderlich ist. Als skalierbare neue Systemspeichertechnologie trägt HBF dazu bei, Leistungsengpässe zu reduzieren und die Zeit bis zur Gewinnung von Erkenntnissen aus KI-Anwendungen in modernen Rechenzentren und Edge-Netzwerken zu verkürzen.
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
