de.wedoany.com-Bericht: Das Barcelona Supercomputing Center (BSC-CNS) in Spanien hat am 15. Mai offiziell die verteilte Computing-Bibliothek dislib 1.0.0 veröffentlicht und stellt damit einen ausgereiften und stabilen Werkzeugsatz für die Ausführung von Big-Data-Analysen und maschinellen Lernaufgaben auf verteilten Plattformen wie Clustern, Clouds und Supercomputern bereit. Diese Version verbessert die Kompatibilität und Benutzerfreundlichkeit für fortgeschrittene Forschung in extrem großen verteilten Umgebungen erheblich, indem sie eine stabile und robuste API bietet, und markiert den Wandel von dislib von einem Forschungsprototypen zu einer produktionsreifen Codebasis, die für geschäftskritische Anwendungen eingesetzt werden kann.
dislib 1.0.0 ist eine Python-Bibliothek, die auf dem parallelen Framework PyCOMPSs aufbaut. Ihre Kernphilosophie besteht darin, Benutzern die Verarbeitung großer verteilter Berechnungen durch sequentielle Programmierung mit einer einfachen, an scikit-learn angelehnten Schnittstelle zu ermöglichen. Diese Version integriert PyTorch und PyEDDL tiefgreifend und unterstützt erstmals systematisch verteiltes Training neuronaler Netze, sodass Forscher komplexe Aufgaben vom traditionellen maschinellen Lernen bis hin zum Deep Learning direkt innerhalb der Bibliothek durchführen können.
Eine grundlegende technische Umstrukturierung bildet den Eckpfeiler dieses Updates. Im Kern der Bibliothek wurde eine verteilte mehrdimensionale Array-Struktur namens ds-array entwickelt, die riesige Datenmengen partitioniert und auf entfernten Knoten speichert. Alle darauf aufbauenden Algorithmen für Clustering, Klassifikation, Regression, Empfehlungssysteme usw. sind als parallel ausführbare Tasks definiert, die von der PyCOMPSs-Laufzeitumgebung automatisch im Hintergrund geplant werden. Diese Reihe von Verbesserungen stellt sicher, dass dislib Datensätze, die nicht in den Arbeitsspeicher eines einzelnen Rechners passen, effizient verarbeiten kann und vollständig mit neuen Versionen des wissenschaftlichen Computing-Ökosystems wie COMPSs 3.4 und NumPy 2.x kompatibel ist.
Der BSC-Forscher Eduardo Iraola kommentierte, dass dislib 1.0.0 nicht mehr nur ein Forschungsprototyp, sondern eine ausgereifte Codebasis sei. Zu sehen, dass es bereits reale Anwendungen wie die Bewertung von Erdbebenauswirkungen, personalisierte Medizin und digitale Zwillinge unterstützt, sei der beste Beweis dafür, dass man sich in die richtige Richtung bewege.
Die Reife von dislib wurde bereits in zahlreichen Forschungsprojekten unter Beweis gestellt. Im Bereich der Astrophysik wurde dislib mit Daten der Gaia-Mission der Europäischen Weltraumorganisation kombiniert, um erfolgreich DBSCAN-Clustering-Algorithmus-Analysen durchzuführen und offene Sternhaufen in der Milchstraße aufzudecken. Im Gesundheitswesen nutzte das AI-SPRINT-Projekt das Random-Forest-Modell von dislib zur Erkennung von Vorhofflimmern und trieb so die Entwicklung der personalisierten Medizin voran. Darüber hinaus wird dislib in europäischen Hochleistungsrechenprojekten umfassend in Bereichen wie Frühwarnung vor Naturkatastrophen, digitalen Zwillingen in der Fertigung, Design von Verbundwerkstoffen für die Luft- und Raumfahrt sowie der Bewertung extremer Klimaauswirkungen eingesetzt, was seine hohe Stabilität und breite Anwendbarkeit in der multidisziplinären Fusionsberechnung eindrucksvoll belegt.
dislib ist unter der leistungsfreundlichen Apache-2.0-Lizenz als Open Source verfügbar. Forscher und Entwickler können es direkt lokal mit dem Befehl pip install dislib installieren oder auf Spitzen-Supercomputern wie MareNostrum laden und nutzen. Das BSC-CNS hat zudem die Projektdokumentation und Docker-Images optimiert und senkt durch die Bereitstellung von zwei unabhängigen Umgebungen – Basis und PyTorch – die technische Einstiegshürde für Anfänger und Profis im Bereich der Konvergenz von HPC und KI.
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
