Die Universität Waterloo hat mit SubTrack++ eine neuartige Trainingsmethode entwickelt, die die Kosten und die Umweltbelastung beim Erstellen von KI-Werkzeugen reduzieren und deren breite Anwendung fördern soll. Große Sprachmodelle (LLMs) als fortschrittliche KI-Systeme waren lange Zeit durch hohe Kosten und enormen Ressourcenverbrauch eingeschränkt, was ihre breite Einführung für die meisten Organisationen – mit Ausnahme großer Unternehmen – erschwerte.

Nach über einem Jahr Forschungsarbeit integrierte und entwickelte das Team der Universität Waterloo frühere Verbesserungen des Trainings und schuf so die erfolgreiche SubTrack++-Technologie. Diese Technologie beschleunigt das Vortraining von LLM-Modellen um bis zu 50 % und erzielt dabei eine Genauigkeit, die den aktuellen Stand der Technik übertrifft. Dr. Cilisa Lambatra betont: „Diese Modelle sind sehr umfangreich und energieintensiv, daher kann selbst eine geringfügige Leistungsverbesserung erhebliche Vorteile bringen.“ Der Kern der SubTrack++-Technologie liegt in der Vereinfachung des Kalibrierungsprozesses durch die Fokussierung auf zentrale Modellparameter. Dadurch wird der Modellaufbau in der Vortrainingsphase beschleunigt und eine solide Grundlage für die anschließende Feinabstimmung für spezifische Aufgaben geschaffen. Dr. Sahar Rajabi, die die Forschung leitete, beschrieb den Prozess anschaulich: „Der Trainingsprozess ist vergleichbar damit, dem Modell eine ganze Bibliothek durchlesen zu lassen. Es lernt den Sprachgebrauch, indem es Muster in Wörtern und Gedanken erkennt.“ SubTrack++ optimiert diesen Prozess und ermöglicht es dem Modell, Sprachregeln schneller zu beherrschen.

Forscher erwarten, dass mit steigender Geschwindigkeit und sinkenden Kosten des LLM-Trainings auch Laien in der Lage sein werden, leistungsstarke KI-Tools zu entwickeln. Dr. Rajabi prognostiziert weiter: „Zukünftige LLM-Modelle werden sich voraussichtlich zu personalisierten digitalen Assistenten entwickeln, die sich an den individuellen Stil, die Ziele und Bedürfnisse jedes Einzelnen anpassen und so zu intelligenten Partnern in Arbeit und Kreativität werden.“ Die Universität Waterloo plant, auf der kommenden Konferenz für neuronale Informationsverarbeitungssysteme (NeurIPS 2025) in Mexiko-Stadt einen Beitrag zur SubTrack++-Technologie zu präsentieren und die Forschungsergebnisse weiter zu verbreiten.

Weitere Informationen: Technologiename: SubTrack++: Gradienten-Subraumverfolgung für skalierbares LLM-Training