de.wedoany.com-Bericht: Das südkoreanische Unternehmen Upstage hat am 23. das von ihm selbst entwickelte Open-Weight-Sprachmodell (LLM) ‚Solar Open 2‘ vorgestellt. Das Modell, das als Ergebnis des staatlichen Projekts ‚Unabhängiges KI-Basismodell‘ entstanden ist, wurde auf der globalen Open-Source-Plattform Hugging Face veröffentlicht, zusammen mit einem technischen Bericht, der Architektur und Lernmethoden offenlegt.
Im Gegensatz zum Vorgänger ‚Solar Open 1‘ ist Solar Open 2 speziell für den Einsatz als Agent konzipiert. Es ist nicht nur für einfache Frage-Antwort-Aufgaben geeignet, sondern kann durch mehrfaches logisches Schließen und den Aufruf von Werkzeugen Aufgaben wiederholt bearbeiten, bis sie abgeschlossen sind. Das Modell verwendet eine Mixture-of-Experts (MoE)-Struktur mit insgesamt 250 Milliarden Parametern, aktiviert aber während der Arbeit nur 15 Milliarden Parameter. Durch die Berechnung nur der benötigten Teile wird die Effizienz bei Agentenaufgaben verbessert, die viele Token verbrauchen. Im Vergleich zum Vorgänger mit 102 Milliarden Parametern ist dies eine Steigerung um das 2,5-fache, während die Anzahl der Schichten mit 48 unverändert bleibt.
Solar Open 2 unterstützt eine lange Kontextverarbeitung von bis zu 1 Million Token, was für Agentenaufgaben, die eine kontinuierliche Erinnerung an den Aufgabenverlauf und die Verarbeitung großer Dokumentenmengen erfordern, entscheidend ist. Um diese Fähigkeit zu erreichen, hat Upstage die 48 Schichten in Gruppen zu je 4 Schichten aufgeteilt und gemischt eine ‚Softmax Attention‘ (hohe Präzision, aber hoher Rechenaufwand) und drei ‚Linear Attention‘ (recheneffizient, aber komprimierte Speicherinformationen) eingesetzt. Das bedeutet, dass nur ein Viertel aller Schichten die Softmax-Methode verwendet. Darüber hinaus wurde die separate Positionskodierung vollständig entfernt; die Wortreihenfolge wird nur durch die Speicherstruktur der Linear Attention weitergegeben. Es wurde eine Erweiterungstechnik hinzugefügt, die es dem Modell ermöglicht, selbstständig falsch gespeicherte Informationen zurückzuverfolgen und zu korrigieren.
Upstage gibt an, dass die für das Erreichen der gleichen Leistung erforderliche Trainingsdatenmenge im Vergleich zur Vorgängermethode um bis zu mehr als das Dreifache reduziert werden kann. Nach Anwendung der Quantisierung kann das Modell mit nur zwei NVIDIA H200 Chips betrieben werden, was die Einführungskosten für Unternehmen in ihrer eigenen Infrastruktur senkt. Die hier eingeführte Technik trainiert nicht jedes Mal ein Modell mit mehreren zehn Milliarden Parametern von Grund auf neu, sondern verwendet aus den Gewichten des Vorgängers ‚Solar Open 1‘ nur die Teile wieder, die mit der neuen Struktur übereinstimmen. Es werden nur strukturgleiche Teile wie Vokabular, Ausgabeschicht und Normalisierungsschicht übernommen. Die neu entstandenen Teile und die Erhöhung der Anzahl der Experten von 128 auf 320 werden neu trainiert. Die wiederverwendeten Gewichte machen nur 2,3 % der Gesamtmenge aus, aber Experimente zeigen, dass diese Methode das für das Erreichen der gleichen Leistung erforderliche Trainingsvolumen um etwa das 1,7-fache reduzieren kann. Die Trainingsdaten wurden von ursprünglich 20 Billionen Token durch Qualitätsfilterung auf 10 Billionen Token konzentriert. Das Verhältnis von echten Daten zu synthetischen Daten beträgt 4:6, und die Anteile von Mathematik und Code wurden jeweils auf über 15 % angepasst.
In Leistungstests übertraf Solar Open 2 wichtige Open-Weight-Modelle wie DeepSeek ‚V4 Flash‘, Mistral ‚Medium 3.5‘ und Cohere ‚Command A+‘ in den Bereichen Allgemeinwissen (MMLU-Pro), Programmierung (LiveCodeBench), Befehlsbefolgung und Werkzeugaufruf sowie in der umfassenden Agentenbewertung. Im Vergleich zum Vorgänger verbesserte es die Punktzahlen in wichtigen Benchmarks wie Wissen & wissenschaftliches Denken, Mathematik und Programmierung um mehr als 20 Punkte. In Bezug auf die koreanische Sprachfähigkeit lag es im koreanischen Benchmark-Durchschnitt über geschlossenen APIs wie OpenAI ‚GPT-5.4 Mini‘ und Anthropic ‚Claude Haiku 4.5‘. Insbesondere erreichte es im ‚Ko-GDPval‘-Benchmark 86,8 Punkte und näherte sich damit der Leistung des mehr als sechsmal so großen DeepSeek ‚V4 Pro‘ (86,9 Punkte). Upstage führt dies auf seinen eigenen, speziell für Koreanisch entwickelten Tokenizer zurück, der denselben koreanischen Satz mit weitaus weniger Token darstellen kann als andere globale Modelle, was bei Agentenaufgaben mit sich ständig anhäufendem Aufgabenverlauf Kosten- und Geschwindigkeitsvorteile bietet. Bei der Bewertung von Aufgaben, die die tatsächliche Änderung von Software-Repositories oder die Arbeit in Terminalumgebungen erfordern (‚SWE-Bench‘ und ‚TerminalBench‘), schnitt das Modell schlechter ab als Konkurrenzmodelle wie DeepSeek ‚V4 Flash‘ und Mimou ‚V2.5‘. Upstage gab an, die Softwareentwicklungsfähigkeiten auf Repository-/Terminal-Ebene und die präzise numerische Genauigkeit von Büroausgaben als zukünftige Verbesserungsbereiche zu betrachten.
Upstage veröffentlicht die Gewichte von Solar Open 2 vollständig unter der ‚Upstage Solar License (basierend auf Apache 2.0)‘ und erlaubt die kommerzielle Nutzung sowie die freie Entwicklung abgeleiteter Modelle. In Zukunft wird das Modell auf dem im Mai dieses Jahres übernommenen Portal Daum eingesetzt, um die Dienste von der Suche/Zusammenfassung auf interaktive Agentendienste auszuweiten. Über die im Juni dieses Jahres übernommene KI-Agentenplattform Timely soll die Einführung von Agenten in lokalen Gebietskörperschaften und öffentlichen Bildungseinrichtungen unterstützt werden. Upstage plant, die auf Solar Open 2 basierenden Dienste auf alle Industriebereiche wie Finanzen, Recht, Medizin, öffentliche Verwaltung, Verteidigung, Fertigung, Konsum, Robotik und Bildung auszuweiten und mit dem Aufbau einer ‚Full-Stack Sovereign AI‘ in Kombination mit inländischen neuronalen Verarbeitungseinheiten (NPUs) zu beginnen. Darüber hinaus wird das Modell auf globalen Plattformen wie ‚OpenRouter‘ und ‚Hermes Agent‘ registriert, um das Entwickler-Ökosystem weltweit zu erweitern.
