de.wedoany.com-Bericht: Am 13. Juli gab der chinesische KI-Token-Produktionsdienstleister Qujing Technology eine neue Runde von Infrastruktur-Bauplänen bekannt, um die KI-Token-Kapazitätsreserven zu erhöhen, die selbst entwickelte ATaaS-Plattform für hocheffiziente KI-Token-Produktion zu modernisieren und KI-Token-Fabriken für führende große Modelle, Internetplattformen und regionale Industrieökosysteme zu errichten. Das Projekt wird auch den Umfang der Integration heterogener inländischer Rechenleistung erweitern, sodass Rechenchips unterschiedlicher Architekturen in Kernproduktionsszenarien wie Inferenz großer Modelle, Betrieb intelligenter Agenten und unternehmensweite Generierungsdienste gelangen.
Eine KI-Token-Fabrik erhöht nicht nur die Anzahl der Server, sondern bildet eine kontinuierliche Produktionskette aus Chips, Speicher, Storage, Netzwerk, Inferenz-Engine und Scheduling-System. Wenn ein Benutzer eine Modellaufgabe einreicht, muss das System die Anfrageklassifizierung, das Laden des Modells, die Zuweisung von Rechenressourcen, die Vorverarbeitung von Prompts, die Generierung des ersten Tokens, die kontinuierliche Dekodierung nachfolgender Tokens und die Rückgabe der Ergebnisse durchführen. Wenn in einer dieser Phasen Ressourcenwartezeiten, Cache-Fehler oder Kommunikationsstaus auftreten, wirkt sich dies direkt auf die Latenz des ersten Tokens, die Token-Ausgaberate pro Sekunde und die gleichzeitige Tragfähigkeit aus. Der Schwerpunkt dieser Erweiterung von Qujing Technology liegt darauf, die neu hinzugefügte Rechenleistung stabil in nachhaltig lieferbare Token-Kapazität umzuwandeln, anstatt einen Rechenressourcenpool zu schaffen, der nur über Hardwareskala, aber ohne Inferenzeffizienz verfügt.
Die ATaaS-Plattform wird weiterhin die Ressourcenplanung zwischen verschiedenen Rechengeräten übernehmen. Die Plattform kann Inferenzaufgaben großer Modelle auf Hardware wie Grafikprozessoren, Zentralprozessoren, Arbeitsspeicher und Solid-State-Laufwerke aufteilen, um zu vermeiden, dass alle Berechnungen auf einem einzigen Typ von Beschleunigerkarte konzentriert werden. Angesichts eines Clusters, in dem inländische und nicht-inländische Chips nebeneinander existieren, müssen die Rechenleistung, der Videospeicher, die Bandbreite und die Software-Anpassungsfähigkeit verschiedener Geräte identifiziert werden, um zu entscheiden, auf welchem Gerätetyp Modellschichten, Operatoren oder Anfragen ausgeführt werden sollen.
Die Inbetriebnahme der heterogenen inländischen Rechenleistung umfasst auch die einheitliche Verwaltung der zugrunde liegenden Inferenzsoftware. Verschiedene Chips verwenden normalerweise unterschiedliche Rechnerarchitekturen, Operatorbibliotheken, Treiber und Kommunikationskomponenten. Dasselbe Modell kann nicht einfach auf alle Geräte kopiert und ausgeführt werden. ATaaS muss vor dem Einsatz des Modells in der Produktionsumgebung die Anpassung des Quantisierungsformats, der Operator-Kompatibilität, der Videospeicher-Zuweisungsmethode und der Knotenkommunikationsstrategie durchführen und die Aufgaben basierend auf den tatsächlichen Anforderungen auf verschiedene Hardware verteilen. Kurze Frage-Antwort-Aufgaben, lange Kontextverarbeitung, Codegenerierung, strukturierte Datenausgabe und der Aufruf von intelligenten Agenten-Tools haben unterschiedliche Anforderungen an Rechen- und Speicherressourcen. Das System muss die Geräte dynamisch basierend auf der Geschäftslast auswählen und darf nicht langfristig eine feste Konfiguration verwenden.
Die Inferenz großer Modelle wird normalerweise in zwei Phasen unterteilt: Prefill und Dekodierung. In der Prefill-Phase muss der vom Benutzer eingegebene Kontext konzentriert verarbeitet werden, was eine hohe Rechendichte erfordert. In der Dekodierungsphase werden Tokens nacheinander generiert, was höhere Anforderungen an die Speicherzugriffsgeschwindigkeit, die Cache-Kapazität und die kontinuierliche Planungsfähigkeit stellt. Qujing Technology verwendet eine Speicher-Berechnungs-Kooperationsmethode zur Verwaltung des KV-Cache und speichert den Zwischenzustand des bereits berechneten Kontexts im Arbeitsspeicher oder im Speichersystem. Wenn mehrere Anfragen dieselben oder ähnliche System-Prompts, Wissensdatenbankinhalte und historische Dialoge enthalten, kann das System den Cache direkt lesen, um wiederholte Modellberechnungen zu vermeiden. Das zuvor von der Plattform offengelegte Technologiesystem umfasst auch die gemeinsame Nutzung von Caches über Cluster hinweg, die Isolierung von Inferenzketten, die elastische Skalierung und die Qualitätsüberwachung, um Cache-Wiederverwendung, Ressourcenkonflikte und Dienstschwankungen bei hohen gleichzeitigen Aufgaben zu bewältigen.
Die neu hinzugefügten KI-Token-Fabriken werden jeweils auf verschiedene Arten von Produktionslasten ausgerichtet sein. Führende Modelle benötigen den langfristigen Betrieb großer Inferenzcluster mit hohen Anforderungen an Parallelität, Rückgabegeschwindigkeit des ersten Tokens und Ausgabestabilität. Die Anfragen von Internetplattformen weisen offensichtliche Spitzen- und Taltäler auf, sodass das System schnell Rechenknoten hinzufügen oder freigeben muss. Regionale Industrieökosysteme können gleichzeitig Aufgaben aus den Bereichen Verwaltung, Fertigung, Finanzen, Gesundheitswesen und Unternehmensbüros integrieren, wobei verschiedene Geschäftsbereiche unabhängige Modelle, Datenberechtigungen und Dienstqualitätsparameter benötigen. ATaaS wandelt diese Anforderungen in zugrunde liegende Rechenleistungskonfigurationen um und steuert die Ressourcennutzung durch Aufgabenwarteschlangen, Modellinstanzplanung und Knotenskalierung.
Die zuvor von Qujing Technology vorgestellte ATaaS-Plattform hat bereits eine tägliche Verarbeitungskapazität von nahezu einer Billion Tokens erreicht und kann zehntausende von KI-Inferenzanforderungen bewältigen. Die Plattform verwendet einen Betriebsmodus mit „wenigen Modellen, tiefer Optimierung", konzentriert Ressourcen auf eine kleine Anzahl von Produktionsmodellen und führt spezielle Optimierungen für die Latenz des ersten Tokens, die Token-Ausgaberate pro Sekunde, die strukturierte Ausgabe und die Stabilität von Funktionsaufrufen durch. Derzeit werden ihre Inferenzdienste für geschäftsbezogene Modelle wie Chinas Zhipu GLM und Chinas Moonshot Kimi verwendet.
Die für diesen Bau erforderlichen Mittel stammen aus der neu abgeschlossenen Serie-A-Finanzierungsrunde von Qujing Technology. Innerhalb von sechs Monaten hat das Unternehmen insgesamt mehr als 1 Milliarde Yuan an Finanzmitteln aufgebracht. Diese Runde wurde vom Huirong-Fonds der Henan Investment Group aus China angeführt, und die ursprünglichen Aktionäre wie Chinas Zhenzhi Capital, Chinas Shangshi Capital, Chinas Xinglian Capital, Chinas Shanghai Guofang Innovation, Chinas Honghui Fund, Chinas Huakong Fund und Chinas Hangzhou Fucheng beteiligten sich weiterhin. Der Finanzierungsbetrag, der Anteil der einzelnen Institutionen und die neueste Unternehmensbewertung wurden nicht bekannt gegeben, aber die Verwendung der Mittel wurde eindeutig auf die Rechenleistungsreserven, die ATaaS-Plattform-Upgrades und den Bau von KI-Token-Fabriken konzentriert.
Während des Erweiterungsprozesses ist die Menge der Rechenleistung nicht der einzige Kapazitätsindikator. Die KI-Token-Produktion erfordert auch die kontinuierliche Überwachung der Latenz des ersten Tokens, der Dekodierungsgeschwindigkeit, der Anzahl gleichzeitiger Anfragen, der Hardwareauslastung, der Cache-Trefferquote, der Aufgabenfehlerrate und der Erfolgsrate der strukturierten Ausgabe sowie die Anpassung der Planungsstrategie basierend auf der Modellversion und der Geschäftslast. Wenn ein Rechencluster nur Beschleunigerkarten hinzufügt, ohne gleichzeitig Hochgeschwindigkeitsverbindungen, Arbeitsspeicher, Storage und Inferenzsoftware zu erweitern, können die neu hinzugefügten Hardwarekomponenten aufgrund von Kommunikationswartezeiten oder Datenbewegungen ungenutzt bleiben. Bei diesem Bau von Qujing Technology werden die heterogene inländische Rechenleistung und die ATaaS-Plattform in dasselbe Produktionssystem integriert, mit dem Ziel, dass mehrere Chips gemeinsam Inferenzaufgaben übernehmen und die verteilten Rechenressourcen in messbare und planbare Token-Kapazität umgewandelt werden.
Derzeit hat Qujing Technology noch nicht den Umfang der neu hinzugefügten Rechenleistung, die Chipmodelle, die Anzahl der KI-Token-Fabriken, den Projektstandort und den Zeitpunkt der ersten Inbetriebnahme bekannt gegeben. Zu den bereits festgelegten Bauinhalten gehören die Erweiterung der Kapazitätsreserven, die Aufrüstung des zugrunde liegenden Inferenzsystems, die Erhöhung der Produktionslast der heterogenen inländischen Rechenleistung und der Aufbau spezieller Token-Produktionskapazitäten für führende Modelle, Internetplattformen und regionale Projekte.
