de.wedoany.com-Bericht: Am 3. Juni 2026 veröffentlichte PEAK:AIO in Manchester, Großbritannien, den ersten Open-Source-pNFS-Metadatenserver der Branche namens Lattice. Dieses Produkt wurde von PEAK:AIO in langjähriger Zusammenarbeit mit dem Los Alamos National Laboratory (LANL) entwickelt und verwendet eine neuartige verteilte Metadatenarchitektur, die darauf abzielt, anhaltende Leistungsengpässe in der groß angelegten KI- und Hochleistungsrechner-Infrastruktur zu beseitigen.
Die aktuellen Anforderungen der KI-Infrastruktur verändern den Speichermarkt. KI-Workloads – einschließlich des Trainings großer Modelle, umfangreicher Inferenz und der Bedienung von KI-Agenten-Anwendungen – benötigen extrem schnellen, parallelen und kontinuierlich zuverlässigen Zugriff auf riesige Datensätze. Die GPU-Rechenleistung wurde erheblich erweitert, aber die Speicherschicht, insbesondere die Architektur zur Koordination von Metadaten, konnte nicht Schritt halten. In 23.000 Produktionsclustern beträgt die durchschnittliche GPU-Auslastung nur 5 %, was hauptsächlich daran liegt, dass die Softwaresysteme, die die Daten bereitstellen, nicht mithalten können. Der Metadaten-Engpass in parallelen Speichersystemen ist zu einem entscheidenden Leistungshemmnis für KI-Workloads geworden.
Lattice ist als Linux-basierter pNFS-Metadatenserver im Userspace konzipiert und auf Skalierbarkeit, Modularität und verteilte Koordination ausgelegt. Dieses Open-Source-Projekt wird unter der Linux Foundation veröffentlicht und unterteilt die Metadaten-Kontrollebene in vier verschiedene Ebenen: die Protokollzustandsebene, den Lattice-Kern, die MD Catalog Authority und die Datenserver-Kontrollebene. Diese Architektur macht den Metadatendienst erstmals elastisch, sodass er jederzeit dynamisch auf handelsüblicher Hardware gestartet werden kann, von einem einzelnen Server bis zu über 1.000 Metadatenservern. Die Ankündigung wird auf der International Conference on Massive Storage Systems and Technologies MSST 2026 in Santa Clara, Kalifornien, offiziell veröffentlicht. Lattice wird in Zusammenarbeit mit der Linux Foundation eingeführt, um die Community-Innovation rund um skalierbare KI- und HPC-Speicherinfrastrukturen zu beschleunigen.
Gary Grider, Leiter der HPC-Abteilung am LANL, erklärte, dass pNFS-Lattice sich dadurch auszeichne, dass es ein von Grund auf neu entwickelter Open-Source-, Userspace- und skalierbarer pNFS-Metadatenserver sei, der das Konzept der Trennung von pNFS-Metadatendienst und Metadatenspeicher (Verzeichnis) nutze. Da der Dienst von den persistenten Metadaten getrennt ist und im Userspace läuft, eignet er sich hervorragend als ein dynamisch in der Größe anpassbarer temporärer Dienst. Die Open-Source- und Userspace-Eigenschaften senken die Einstiegshürde für die Community. Leistungstests während der Zusammenarbeit zeigten eine Steigerung von 70 GB/s auf 400 GB/s. Auf der vorhandenen Produktionshardware des LANL lag der Durchsatz einer Standard-Linux-NFS-Konfiguration zwischen 3 GB/s und 7 GB/s, während die pNFS-Lattice-Architektur auf denselben Servern 40 GB/s erreichte. Zusätzliche Tests mit einer führenden technischen Universität ergaben eine Leistungssteigerung von über 300 % bei metadatenintensiven Workloads.
In standardisierten Metadaten-Benchmarks wie MDtest zeigten frühe Tests eine bis zu 10-fache Verbesserung gegenüber dem Standard-Linux-KNFSD. Die erweiterten Funktionen von Lattice erzielten bei traditionell schwierigen, metadatenintensiven Workloads eine Steigerung von über 300 %. In Kombination mit seinem elastischen, temporären Metadaten-Skalierungsmodell (das dynamisch Metadatendienste nach Bedarf hinzufügt) durchbricht Lattice die Grenzen traditioneller Hochleistungsdaten-Designs. Roger Cummings, Präsident und CEO von PEAK:AIO, erklärte, dass der KI-Infrastrukturmarkt sich einem Wendepunkt nähere und die bloße Skalierung der Rechenleistung keine signifikanten Effizienzsteigerungen mehr bringe. Die Zusammenarbeit mit LANL basiere auf der Idee, dass Metadaten elastisch, verteilt und offen sein müssen, damit KI-Infrastruktur effizient skaliert werden könne. Lattice repräsentiere diesen Wandel. Darüber hinaus wird PEAK:AIO eine kommerziell unterstützte Version, PEAK:AIO pNFS, anbieten, die eine Obermenge von Lattice ist und sich an Organisationen richtet, die unternehmenskritische SLAs und einen vollständigen Funktionsumfang benötigen, ohne den Open-Source-Stack direkt zu verwalten. Das Geschäftsmodell ähnelt der Beziehung zwischen Lustre und seinen kommerziellen Distributionen, während die Grundlage vollständig offener Standards erhalten bleibt.
Mark Klarzynski, Chief Strategy Officer und Mitbegründer von PEAK:AIO, wies darauf hin, dass die entscheidende Innovation von Lattice darin bestehe, den Inhalt, der traditionell in einem einzelnen Metadatenserver eingeschlossen war, in vier verschiedene Schichten zu zerlegen. Diese Trennung setze intelligente Skalierungsfähigkeiten frei, die traditionelle Speicherarchitekturen nie unterstützen sollten. Metadaten- und Datendienste können nun zu verteilten, elastischen Akteuren werden, die sich mit dem Workload skalieren, ausfallsicher sind und anpassen können. PEAK:AIO ist ein in Manchester, Großbritannien, ansässiges Unternehmen für softwaredefinierten KI-Speicher, dessen Plattform auf jeder handelsüblichen Hardware Hochleistungs-KI-Speicher von einem einzelnen Server bis in den Exabyte-Bereich bietet. Es ist bereits im Los Alamos National Laboratory, NHS AIDE, Oxford Robotics Institute, der Carnegie Mellon University, der University of Liverpool, dem MediForge Hub der University of Strathclyde und der Zoological Society of London im Einsatz. Das Los Alamos National Laboratory ist ein multiprojektorientiertes, bundesstaatlich gefördertes Forschungs- und Entwicklungszentrum der National Nuclear Security Administration des US-Energieministeriums, dessen Hauptaufgaben die Entwicklung von Kernwaffen, die Bewältigung nuklearer Bedrohungen sowie die Durchführung von Arbeiten in den Bereichen nationale Sicherheit, Wissenschaft, Technologie und Ingenieurwesen umfassen.
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
