de.wedoany.com-Bericht: Das finnische LUMI AI Factory hat kürzlich Datensatz-as-a-Service (DaaS) eingeführt, um die zeit- und ressourcenintensive Datenbewegung bei der traditionellen Datenverarbeitung zu lösen. Dieser Dienst macht Daten dort sichtbar, wo Rechenleistung vorhanden ist, verkürzt die Distanz von Daten zu Ergebnissen und steigert die Effizienz von Experimenten und Forschung. Durch die Integration von Metadaten, Zugriffsrechten und Datenstandorten ermöglicht Datensatz-as-a-Service die sofortige Nutzung von Datensätzen auf dem LUMI-Supercomputer. Dies ist für die KI-Entwicklung entscheidend, da die Nähe von Daten und Rechenleistung die Leistung erheblich beeinflusst.
Datensatz-as-a-Service bietet Nutzern eine Datenkatalog-Schnittstelle. Datenproduzenten können Datensätze auf kontrollierte Weise veröffentlichen, und Datennutzer können sie entdecken, ohne manuell suchen zu müssen. Der Dienst vereinfacht den Zugang zu KI-fähigen Datensätzen, beseitigt Engpässe bei der Replikation großer Datensätze und bietet Datenanbietern gleichzeitig einen standardisierten Veröffentlichungspfad, der die Sichtbarkeit und Nutzung der Daten erhöht. Im Gegensatz zu traditionellen Datenrepositorien konzentriert sich Datensatz-as-a-Service auf die Nutzung und nicht auf die langfristige Aufbewahrung. Er orchestriert den Datenzugriff und erlaubt Nutzern, Datensätze zu verwenden, ohne die Daten zu bewegen.
Datensatz-as-a-Service basiert auf bestehenden Komponenten, darunter das Fairdata-Metax-Metadaten-Repository und das Fairdata-Etsin-Suchtool von CSC sowie der LUMI-O-Objektspeicher und das REMS-Autorisierungssystem. Diese modulare Architektur ermöglicht Kosteneffizienz und Skalierbarkeit. Derzeit ist eine Vorproduktversion des Dienstes verfügbar. Der Datenkatalog enthält zehn Datensatzsammlungen, wie z. B. einen offenen Web-Suchindex, mit Ressourcen von über 1.000 Datensätzen und einer Gesamtkapazität von mehr als einem Petabyte. Dies unterstützt die Entwicklung von Suchmaschinen und das Training großer Sprachmodelle. Während sich Datensatz-as-a-Service zur vollständigen Produktreife entwickelt, wird es die KI-Entwicklung beschleunigen und die sofortige Verfügbarkeit von Daten an Orten der Wertschöpfung vorantreiben.
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
