de.wedoany.com-Bericht: Meta hat kürzlich das detaillierte Design seiner Speicherinfrastruktur veröffentlicht und erklärt, dass sein System die Zeit für Forscher, KI-Trainingsdaten zwischen Regionen zu verschieben, um bis zu 97 % verkürzt hat. Der Technologiekonzern treibt seine Cloud-Computing-Sparte voran und könnte bald zu den Hyperscalern gehören. In einer öffentlichen Mitteilung wies Meta darauf hin, dass die Rechenleistung von Grafikprozessoren etwa alle zwei Jahre um das Dreifache steige, die Speichergeschwindigkeit jedoch nicht mit diesem Tempo Schritt halte. Um diese Lücke zu schließen und Speichercluster zu bedienen, die Meta AI, Reality Labs, soziale Medienplattformen sowie zukünftige Cloud-Kunden umfassen, haben Ingenieure die BLOB-Speicherschicht neu aufgebaut. Diese Schicht liegt auf Tectonic, einer Multi-Tenant-Speicherstruktur mit Exabyte-Kapazität, die sich über globale Rechenzentren erstreckt.
Metas traditionelle BLOB-Architektur war bei der Unterstützung von KI-Training ressourceneffizient nicht optimal. Die Softwareingenieure Sidharth Bajaj und Venkatraghavan Srinivasan erklärten, dass das alte System zu viele Dienstschichten übereinander stapelte und sequenzielle, zustandsbehaftete Metadaten-Suchen über mehrere Ebenen hinweg durchführen musste, bevor der Dateipfad zum tatsächlichen Speicherort aufgelöst werden konnte. Dies erhöhte die Latenz und beeinträchtigte die Leistung. Der neu aufgebaute Speicherkern basiert auf drei wesentlichen Änderungen: Erstens wurden die verteilten Metadatensysteme in ein einheitliches Schema integriert, das von der Datenbank ZippyDB unterstützt wird und eine nahezu sofortige Pfadauflösung ermöglicht. Zweitens wurde der „Datenebenen-Proxy“ eliminiert und eine „Fat-Client“-Architektur eingeführt, die Byteströme direkt vom Speicherserver zum Client überträgt, wodurch die Latenz gesenkt und die Energieeffizienz verbessert wird. Drittens wurde von einem globalen zu einem regionalen Bereitstellungsmodell gewechselt, bei dem der Speicher am selben Ort wie die tatsächlich benötigten GPUs platziert wird.
Neben der umfassenden Verbesserung des gesamten Speicherstapels nutzt Meta auch freien GPU-Arbeitsspeicher als verteilten Daten-Cache für häufig gleichzeitig abgerufene Daten. Das Team griff auf die Erfahrungen mit Owl zurück, einem System zur Verteilung großer Datenobjekte, und integrierte dessen Peer-to-Peer-Sharing-Logik in das BLOB-Speicher-Client-SDK. Dadurch erfolgt jeder Datenzugriff über diesen Cache, was die Häufigkeit reduziert, mit der GPUs Daten vom Speicher anfordern. Darüber hinaus führte Meta einen unabhängigen „Read-Plan“-Metadaten-Cache ein, der die Speicheradressen häufig angeforderter Dateien innerhalb von ein bis zwei Millisekunden zurückgibt. Diese Kombination absorbiert Nachfragespitzen, beispielsweise wenn GPUs gleichzeitig neu starten und dieselben „heißen“ Modellgewichte anfordern, und verbessert gleichzeitig die Latenz.
Die endgültige Überarbeitung behebt auch Überlastungs- und Timeout-Probleme, die durch Exportspitzen verursacht werden. Meta implementierte eine dynamische, softwarebasierte Parallelitätssteuerung, die den Parallelitätsgrad basierend auf Überlastungssignalen auf Anwendungsebene anpasst. Bei hohem Datenverkehr reduziert sie automatisch die Anzahl der Anfragen, die eine Anwendung senden kann. Laut Bajaj und Srinivasan kann der überarbeitete BLOB-Speicherstapel nun KI-Workloads unterstützen, ohne dass GPUs ins Stocken geraten, was sowohl Kosten spart als auch Leistungsvorteile bietet.
Um das Problem der Datenbereitstellung zu lösen, bauten die Ingenieure ein mehrstufiges Caching-System, das die Art und Weise nachahmt, wie Computer-CPUs Daten von der Festplatte in schnellere Speicherebenen laden. Der Arbeitsspeicher und Flash-Speicher auf dem GPU-Host dienen als schnellste Ebene, regionaler Flash-BLOB-Speicher als nächste Ebene, und die benötigten Daten werden durch einen „Prefetch“-Mechanismus vorab in den schnelleren Speicher geladen. Der globale HDD-basierte BLOB-Speicher fungiert als endgültige Quelle der Wahrheit. Dieses neue Datenladeparadigma wird bereits in Produktions-Workloads eingesetzt, wobei die durchschnittliche Aufnahmezeit von 150 Minuten auf 10 Minuten gesunken ist – ein Rückgang um 93 %. Im besten Fall beobachtete Meta, dass eine zuvor 89 Stunden dauernde Aufnahmezeit auf 182 Minuten reduziert wurde – ein Rückgang um 97 %. Meta erklärte: „Moderne KI-Workloads sind datenintensiv, und Speicherengpässe wirken sich direkt auf die GPU-Auslastung und die Rechenkosten aus. Durch den Neuaufbau des Metadaten-Subsystems und die Einführung einer mehrstufigen Cache-Architektur mit Prefetching/On-Demand-Hydration können wir die Anforderungen heutiger Workloads effektiv erfüllen.“
