de.wedoany.com-Bericht: SK Hynix hat gemeinsam mit TetraMem und Forschern der University of Southern California einen auf Memristoren basierenden In-Memory-Computing (IMC) System-on-a-Chip (SoC) entwickelt, der speziell für KI-Edge-Geräte konzipiert ist. Dieser Chip soll die neuronale Netzwerkinferenz in leichtgewichtigen KI-Modellen beschleunigen und verbraucht nur einen Bruchteil der Leistung von High-End-GPUs oder NPUs. Der SoC dient hauptsächlich als Proof-of-Concept-Chip mit einer theoretischen Spitzenleistung von etwa 2,54 TOPS, was 16-mal niedriger ist als die Anforderungen von Microsoft Copilot+.

In-Memory Computing (IMC) beschleunigt neuronale Netze, indem es analoge Berechnungen direkt innerhalb der Speichermatrix durchführt, wodurch Datenbewegungen und Stromverbrauch reduziert werden. Tiefe Faltungen (DWC) sind jedoch Kernoperationen in leichten Netzwerken wie MobileNet, die unabhängige kanalweise Filterung durchführen, mit begrenzter Datenwiederverwendung, was eine effiziente Abbildung auf traditionelle Crossbar-Arrays erschwert. Um diese Einschränkung zu überwinden, entwickelten die Forscher einen SoC, der sowohl traditionelle IMC-Crossbar-Arrays als auch eine speziell für DWC optimierte, auf Memristoren basierende IMC-Architektur vereint.

Der gemeinsam entwickelte SoC basiert auf einem eingebetteten RISC-V-Prozessor zur Arbeitslastplanung und enthält 10 neuronale Verarbeitungseinheiten (NPUs). Eine NPU ist speziell für tiefe Faltungen reserviert, während die restlichen neun Punkt- und dichte Operationen ausführen. Jede der neun NPUs enthält ein 256×256-Memristor-Crossbar-Array für analoge Vektor-Matrix-Multiplikationen (VMM); 256 8-Bit-DACs zur Umwandlung digitaler Aktivierungswerte in analoge Spannungen; 256 8-Bit-ADCs zur Rückwandlung analoger Ausgaben in digitale Werte; sowie zusätzliche Peripherieschaltungen zum Lesen, Schreiben, Programmieren und Steuern des Crossbar-Arrays. Die für DWC optimierte NPU ersetzt das traditionelle Array durch acht spezielle 252×28-Zickzack-Crossbar-Blöcke, behält jedoch DACs und ADCs bei. SK Hynix entwickelte und fertigte die Memristor-Bauelemente und integrierte die Widerstandsschaltzellen mithilfe seines Backend-Prozesses auf einer 65-nm-CMOS-Schaltung.

Diese für DWC optimierte NPU ist ein Schlüsselmerkmal des gesamten SoC. Um tiefe Faltungen zu beschleunigen, ersetzte TetraMem die in traditionellen 1T1R-Crossbar-Arrays verwendeten geraden Auswahlleitungen durch eine Zickzack-Topologie. Die NPU enthält acht 252×28-Crossbar-Blöcke, deren diagonale Auswahlleitungen 252 Speicherzellen über 28 Spalten hinweg aktivieren können, sodass 28 unabhängige 3×3-Faltungen parallel ausgeführt werden können, während 100 % des Arrays für die Gewichtsspeicherung genutzt werden. Die restlichen neun NPUs behalten traditionelle 1T1R-Crossbar-Arrays für 1×1-Punkt- und dichte Schichten bei und bewahren den Durchsatz und die Energieeffizienz des traditionellen In-Memory Computing.

Zur Demonstration der Architektur setzten die Forscher ein maßgeschneidertes MobileNetV1Small-Neuronales Netzwerk für den Visual Wake Words-Benchmark ein. Das Netzwerk umfasst etwa 36.000 Parameter; alle tiefen Faltungsschichten werden auf die dedizierte NPU abgebildet, die Punkt-Schichten auf die restlichen NPUs. Da die auf Memristoren basierende IMC-Hardware nativ vorzeichenlose analoge Vektor-Matrix-Multiplikationen ausführt, werden Eingaben und Gewichte vor der Ausführung in vorzeichenlose 8-Bit-Werte quantisiert. Die effektive Präzision jedes Memristor-Bauelements kann nur auf etwas mehr als 2 Bit programmiert werden; das Design verwendet eine Doppel-Subarray-Kompensationstechnik, um die effektive Gewichtspräzision auf etwa 4 Bit zu erhöhen.

In Bezug auf die Genauigkeit erreicht der SoC eine End-to-End-Inferenzgenauigkeit von 80,36 %, was dem entsprechenden 4-Bit-Softwaremodell entspricht. In Bezug auf die Leistung erreicht der SoC einen Spitzendurchsatz von 0,254 TOPS pro NPU, mit einer Energieeffizienz von 21,3 TOPS/W bei 100 MHz und 11,9 TOPS/W bei 400 MHz. Laut den Autoren übertrifft diese Leistung veröffentlichte SRAM-basierte In-Memory-Computing-Beschleuniger, obwohl sie in der älteren 65-nm-Technologie gefertigt wurde. Die gemeinsame Veröffentlichung behauptet, dass die Energieeffizienz des SoC um eine Größenordnung höher sei als die der NVIDIA A100 INT8, diese Behauptungen sind jedoch weitgehend unbestätigt.

Forscher von SK Hynix, TetraMem und der University of Southern California haben einen auf Memristoren basierenden IMC-SoC entwickelt, der sich durch einen neuartigen Tiefenfaltungsbeschleuniger auszeichnet, der die Crossbar-Array-Auslastung für leichte KI-Arbeitslasten verbessert. Die Partner haben den Chip erfolgreich in der veralteten 65-nm-Prozesstechnologie gefertigt und zum Laufen gebracht, wobei sie eine Energieeffizienz von 21,3 TOPS/W und eine mit dem 4-Bit-Softwaremodell vergleichbare Inferenzgenauigkeit erreichten. Obwohl die Architektur die Machbarkeit des Ansatzes bestätigt, gibt die Veröffentlichung nicht die volle Leistung des SoC preis, und es ist unklar, ob alle 10 NPUs des Chips im Sättigungsbetrieb laufen können.