de.wedoany.com-Bericht: Am 11. August gaben mehrere Mitarbeiter, die am Nemotron-4-Projekt von Nvidia beteiligt sind, bekannt, dass dieser US-amerikanische Chip-Hersteller eine neue Generation offener KI-Modellfamilien entwickelt, wobei das größte Modell voraussichtlich mindestens eine Billion Parameter besitzen wird. Nvidia bekräftigte am selben Tag, dass die Entwicklung von Nemotron 4 vorangetrieben wird, bestätigte jedoch weder die genannte Parametergröße noch den Veröffentlichungszeitpunkt.

Nemotron 4 hat das abschließende Training noch nicht abgeschlossen, und Nvidia hat auch kein offizielles Veröffentlichungsdatum festgelegt. Die am Projekt beteiligten Mitarbeiter gehen davon aus, dass die Modellreihe frühestens Ende Herbst 2026 einsatzbereit sein könnte, mit dem Entwicklungsziel, mit den weltweit führenden offenen Modellen zu konkurrieren.

Das derzeit größte Modell der Nemotron-3-Serie von Nvidia ist Nemotron 3 Ultra, das eine Mixture-of-Experts- und Mamba-Attention-Architektur verwendet, mit insgesamt 550 Milliarden Parametern und 55 Milliarden aktivierten Parametern pro Token. Das Modell wurde mit 20 Billionen Text-Tokens vortrainiert und unterstützt ein Kontextfenster von bis zu einer Million Tokens.

Nvidia veröffentlichte am 11. August außerdem Nemotron 3.5 Lightning. Dieses Modell verfügt über insgesamt 30 Milliarden Parameter und 3 Milliarden aktivierte Parameter und kann für Agentenaufgaben wie Code-Review, Tool-Aufrufe und Sicherheitswarnungsüberwachung eingesetzt werden; es ist bereits für den kommerziellen Einsatz geeignet.