de.wedoany.com-Bericht: Nvidia hat kürzlich das Open-Source-Modell Nemotron-Labs-TwoTower veröffentlicht, das durch eine Zwei-Turm-Architektur die Effizienz der Textgenerierung großer Modelle verbessert. In Tests behielt das Modell 98,7 % der Qualität des autoregressiven Basismodells bei und erzielte gleichzeitig eine 2,42-fache Steigerung des tatsächlichen Generierungsdurchsatzes. Die entsprechenden Gewichtungen wurden auf der Hugging-Face-Plattform in den USA veröffentlicht.
Der technische Schwerpunkt von TwoTower liegt darin, die beiden Aufgaben „Kontextverständnis" und „Generierung neuer Token" in traditionellen Sprachmodellen getrennt zu behandeln. Die meisten autoregressiven Modelle müssen Token für Token sequenziell generieren; erst wenn ein vorheriger Token abgeschlossen ist, kann der nächste Token in den stabilen Ausgabeprozess eintreten. Diese Methode liefert zwar eine hohe Qualität, führt jedoch bei langen Texten, Codegenerierung, Agentenaufgaben und Diensten mit hoher Parallelität leicht zu Geschwindigkeitsengpässen. Die von Nvidia vorgeschlagene TwoTower-Architektur teilt das Modell in einen Kontextturm und einen Denoising-Turm auf: Der Kontextturm ist für das Lesen von Prompts und vorhandenem Text zuständig und bewahrt die Fähigkeit des autoregressiven Modells zum Verständnis von Semantik, Logik und Kontext; der Denoising-Turm ist für die iterative Korrektur von Rauschblöcken verantwortlich, sodass die Textgenerierung auf eine nahezu parallele Weise vorangetrieben werden kann.
Aus struktureller Sicht basiert Nemotron-Labs-TwoTower auf Nemotron-3-Nano-30B-A3B und besteht insgesamt aus zwei Modelltürmen mit jeweils etwa 30B Parametern, die eine hybride Mamba-Transformer-MoE-Architektur verwenden. Der Kontextturm bleibt eingefroren und übernimmt hauptsächlich die Aufgabe der „schreibgeschützten" Kontextdarstellung; der Denoising-Turm wird separat trainiert und nutzt bidirektionale Block-Aufmerksamkeit sowie schichtweise Kreuzaufmerksamkeit, um semantische Informationen aus dem Kontextturm zu lesen und dann blockweise Generierung und Denoising durchzuführen. Dieses Design vermeidet, dass ein einzelnes Netzwerk gleichzeitig die Funktionen der Kontextdarstellung und des iterativen Denoisings übernehmen muss, und ermöglicht die Wiederverwendung der Fähigkeiten des ursprünglich vortrainierten autoregressiven Modells, ohne ein Diffusionssprachmodell von Grund auf neu trainieren zu müssen.
Auf der Ebene des Trainings und der Effizienz liegt der Wert von TwoTower nicht nur in der Steigerung der Inferenzgeschwindigkeit. Aus den Papierinformationen geht hervor, dass das Modell mit etwa 2,1 Billionen Token trainiert und auf Basis eines offenen Gewichtsmodells mit 30B Mischarchitektur angepasst wurde. Im Gegensatz zu traditionellen Diffusionssprachmodellen, die zu einer Verschlechterung des semantischen Verständnisses neigen, behält TwoTower durch die Beibehaltung des eingefrorenen autoregressiven Kontextturms das vorhandene Wissen über Sprache und langen Kontext im System bei, während der Denoising-Turm sich speziell mit dem Problem der parallelen Generierung befasst. Mit anderen Worten: Es opfert nicht einfach Qualität für Geschwindigkeit, sondern gestaltet den Generierungsprozess durch eine neue Aufgabenteilung im Modell neu.
Die 2,42-fache Beschleunigung der Token-Generierung hat direkte Bedeutung für Entwickler und den Unternehmenseinsatz. Nachdem große Modelle in Bereichen wie Agenten, KI-Programmierung, Kundenfragen-Antworten, Wissensdatenbank-Generierung und Langtextverarbeitung eingesetzt werden, beeinflusst die Ausgabegeschwindigkeit die Wartezeit der Benutzer, die Parallelverarbeitungsfähigkeit des Dienstes und die Inferenzkosten. Eine einzelne Agentenaufgabe kann mehrere Planungsrunden, Tool-Aufrufe, Codegenerierung, Ergebnisüberprüfung und Erklärungsausgabe umfassen. Je langsamer die Token-Generierung, desto länger die Gesamtaufgabenzeit; wenn das Modell bei nahezu gleichbleibender Qualität den Durchsatz erhöht, kann die gleiche Hardware mehr Anfragen bewältigen oder die Antwortzeit bei gleicher Anfragemenge verkürzen.
Diese Open-Source-Veröffentlichung macht TwoTower auch zu mehr als nur einer Laborarchitektur. Die Hugging-Face-Seite in den USA zeigt, dass Nemotron-Labs-TwoTower-30B-A3B-Base-BF16 über Transformers geladen und mit vLLM, SGLang und Docker Model Runner bereitgestellt werden kann. Für Forscher erleichtern die offenen Gewichtungen die Reproduktion von Experimenten, den Vergleich von Dekodierungsmodi und die Untersuchung der Leistung von Diffusionssprachmodellen bei der Generierung langer Texte; für Ingenieurteams ermöglicht das Open-Source-Modell den Einsatz in lokalen Testumgebungen zur Bewertung von Inferenzkosten, Speicherbelegung, Servicedurchsatz und Qualitätsstabilität.
Allerdings bedeutet TwoTower nicht, dass alle Textaufgaben bedingungslos eine 2,42-fache Verbesserung der Erfahrung erfahren. Die tatsächliche Geschwindigkeit wird von der Hardwarekonfiguration, der Batch-Größe, der Kontextlänge, der Dekodierungsstrategie, dem Bereitstellungsframework und der Aufgabenart beeinflusst. Bei kurzen Frage-Antwort-Szenarien, geringer Parallelität oder Aufgaben mit starker Abhängigkeit von der Generierungsreihenfolge kann der Nutzen weniger deutlich sein als bei der Generierung langer Texte, Code-Vervollständigung und mehrstufigen Agentenausgaben. Die Beibehaltung von 98,7 % der Qualität bedeutet auch, dass es immer noch einen gewissen Leistungsverlust gibt, insbesondere bei Mathematik, Code oder Aufgaben, die strenge logische Schlussfolgerungen erfordern. Entwickler müssen dies anhand ihrer eigenen Geschäftsdaten validieren.
Die Open-Source-Veröffentlichung von TwoTower durch Nvidia spiegelt wider, dass der Wettbewerb bei großen Modellen von der Skalierung der Parameterzahl in die Tiefe der Generierungseffizienz, der Inferenzkosten und der technischen Bereitstellungsfähigkeiten übergeht. Eine schnellere Token-Generierungsgeschwindigkeit kann KI-Anwendungen näher an die Echtzeitinteraktion bringen; die Unterstützung offener Gewichtungen und gängiger Bereitstellungsframeworks ermöglicht es Unternehmen, neue Architekturen auf ihrer eigenen Hardware und in ihren Geschäftsprozessen zu testen. Der Zweck von TwoTower ist nicht, alle autoregressiven Modelle zu ersetzen, sondern einen neuen Generierungspfad für Szenarien mit langen Texten, hoher Parallelität, Agenten und lokaler Inferenz bereitzustellen: die Kontextverständnisfähigkeit vorhandener Modelle zu bewahren und gleichzeitig den Geschwindigkeitsengpass der Token-für-Token-Generierung durch einen diffusionsbasierten Denoising-Mechanismus zu lösen.
