In der Nacht zum 27. Juli veröffentlichte das in Haidian, Peking, ansässige Unternehmen Moonshot AI die Modellgewichte und den technischen Bericht von Kimi K3 und stellte die für das Training des Kimi K3-Modells entscheidende Infrastruktur (Schlüssel-Basisinfrastruktur) als Open Source zur Verfügung. „Jetzt kann jeder das Kimi K3-Modell herunterladen und bereitstellen – sei es für die interne Forschung und Entwicklung oder die Integration in Produkte für Endnutzer, die Nutzung ist frei möglich.“

Moonshot AI gab an, dass Kimi K3 ihr leistungsstärkstes Modell sei. Der Parameterumfang von Kimi K3 ist etwa dreimal so groß wie der von Kimi K2.5, aber die Skalierung ist nicht nur eine Anhäufung von Parametern. Unter den Bedingungen begrenzter Rechenleistung konnte das technische Team durch eine Reihe von technologischen Innovationen wie Kimi Delta Attention, Attention Residuals und MoonEP die Skalierungseffizienz um das 2,5-fache steigern, was bedeutet, dass im Sinne optimaler Rechenleistung die pro Recheneinheit erzeugte Intelligenz etwa das 2,5-fache des ursprünglichen Werts beträgt.

Zusammen mit den Modellgewichten von Kimi K3 wurde auch die Trainingsmethode von Moonshot AI veröffentlicht – der technische Bericht zu Kimi K3 ist ebenfalls online verfügbar.

Auf die Frage, warum sie ihr stärkstes Modell als Open Source bereitstellen, erklärte Moonshot AI, dass sie fest an den Wert offener Gewichtsmodelle glauben. Diese senken die Hürden für den Zugang zu Intelligenz, fördern Innovationen und geben den Nutzern mehr Kontrolle über ihre Daten, besseren Datenschutz und Eigentumsrechte. In den letzten Wochen hätten sie viel Unterstützung aus der KI-Community und von technologischen Führungspersönlichkeiten mit gemeinsamen Visionen erhalten. „Wir glauben, dass für eine so tiefgreifende Technologie wie AGI ein breites, offenes Ökosystem der am besten geeignete Boden ist, um sie zu tragen. Dazu werden wir weiterhin unseren Beitrag leisten.“