Meta aus den USA veröffentlicht KI-Agentenmodell Glimmer mit 30 Milliarden Parametern

de.wedoany.com-Bericht: Am 10. August veröffentlichte das US-amerikanische Technologieunternehmen Meta das KI-Modell Muse Glimmer und stellte die Modellgewichte unter der Apache-2.0-Lizenz zur Verfügung. Das Modell verfügt über 30 Milliarden Parameter und ist für kontinuierlich laufende lokale Agenten-Workflows ausgelegt. Es kann auf Macs oder PCs mit einer einzelnen Consumer-GPU bereitgestellt werden, ohne dass eine dauerhafte Verbindung zu Cloud-Diensten erforderlich ist.

Muse Glimmer unterstützt Text- und Bildeingaben, die Trainingsdaten umfassen mehr als 100 Sprachen. Das Modell kann mehrstufige Aufgaben wie Funktionsaufrufe, Codeerstellung und -debugging sowie die Verarbeitung von Dateien und Bildschirmaufnahmen ausführen. Nach einem fehlgeschlagenen Tool-Aufruf kann das Modell das Problem erkennen und es erneut versuchen. Zudem kann es die Denkintensität je nach Aufgabenanforderung anpassen und zwischen Verarbeitungsgeschwindigkeit und Ausgabequalität wählen.

Um sich an Consumer-Hardware anzupassen, setzt Meta eine Quantisierungstechnologie mit etwa 4 Bit ein, die das ursprünglich mehr als 55 GB Speicher benötigende Modell auf unter 20 GB komprimiert. Dadurch können die Modellgewichte, der Arbeitspeicher, der Bildwahrnehmungs-Encoder und das spekulative Dekodierungsmodul gleichzeitig in einer Umgebung mit 24 GB oder 32 GB Speicher ausgeführt werden. Das begleitende DFlash-Spekulationsdekodierungsmodul kann Kandidaten-Token in Stapeln erzeugen. Meta-Tests zeigen, dass die Dekodierungsgeschwindigkeit auf einer RTX-5090-Grafikkarte um etwa das 3,1-fache, auf M5-Max- und M4-Max-Geräten um das 1,8-fache bzw. 1,5-fache gesteigert wird.

Beim Modelltraining diente das zuvor von Meta veröffentlichte Muse Spark als Lehrermodell. Die Agentenfähigkeiten wurden durch Output-Destillation, Training mit langen Kontexten, überwachtes Feintuning und bestärkendes Lernen erworben. Die Modellgewichte von Muse Glimmer sind auf Hugging Face verfügbar. Meta wird außerdem nach und nach angepasste Versionen für Frameworks wie llama.cpp, MLX und ExecuTorch bereitstellen.

Glimmer ist derzeit in Form von Modellgewichten und Entwicklerdokumentation für Entwickler verfügbar und kann zum Erstellen persönlicher Agentenanwendungen wie Terminplanung, Dateiorganisation, Informationsverfassung und lokaler Programmierung verwendet werden. Am selben Tag nahm Meta lokale Ausführung und private Datenverarbeitung in die Entwicklungsrichtung der „persönlichen Superintelligenz“ auf. Das leistungsstärkere Muse Spark hat seine Modellgewichte bisher jedoch nicht freigegeben.