de.wedoany.com-Bericht: Google hat eine KI-Speicherkomprimierungstechnologie namens TurboQuant eingeführt, die darauf abzielt, den Speicherverbrauch von großen Sprachmodellen und Vektorsuchmaschinen zu optimieren. Die Technologie kann den Speicherbedarf um etwa das 6-fache reduzieren und gleichzeitig die Geschwindigkeit der Aufmerksamkeitsberechnung um bis zu das 8-fache steigern, ohne die Modellgenauigkeit zu beeinträchtigen. TurboQuant soll offiziell Ende dieses Monats auf der ICLR 2026-Konferenz in Rio de Janeiro, Brasilien, vorgestellt werden.
TurboQuant kombiniert zwei komplementäre Techniken: PolarQuant und den QJL-Algorithmus. PolarQuant vereinfacht die geometrische Struktur durch zufällige Rotation von Datenvektoren und ermöglicht so eine hochwertige Komprimierung; QJL nutzt die verbleibende Komprimierungskapazität von etwa 1 Bit, um Verzerrungen zu eliminieren und die Genauigkeit der Aufmerksamkeitsscores sicherzustellen. Google erklärte in einem Blogbeitrag: „Der Algorithmus erzeugt im Wesentlichen eine Art Hochgeschwindigkeits-Kurzschrift, ohne zusätzlichen Speicheraufwand.“
In mehreren Benchmark-Tests, wie ZeroSCROLLS und Needle in a Haystack, reduzierte TurboQuant den Speicherverbrauch erheblich, während eine hohe Genauigkeit beibehalten wurde. Tests zeigten, dass es die Cache-Genauigkeit von 16 Bit auf etwa 3 Bit komprimieren, auf H100-GPUs eine 8-fache Beschleunigung erreichen und die Trefferquote bei Vektorsuchen verbessern kann.
TurboQuant optimiert nicht nur die Komprimierungseffizienz, sondern mildert auch Speicherbandbreitenbeschränkungen und bietet neue Wege für die Skalierung von KI-Systemen. Mit zunehmender Modellgröße könnte diese Technologie, die den Speicherbedarf ohne Beeinträchtigung der Genauigkeit senkt, zu einem entscheidenden Faktor für die Weiterentwicklung der KI werden.
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
