de.wedoany.com-Bericht: Die Chinesische Akademie für Informations- und Kommunikationstechnologie (CAICT) hat auf dem am 16. Juni 2026 stattgefundenen „Workshop für hochwertige Token-Dienste" die neuesten Ergebnisse der Leistungsüberwachung von Large-Language-Model (LLM)-Token-Diensten veröffentlicht. Qin Sisi, leitende Geschäftsführerin der Abteilung für Plattform und Engineering am Institut für Künstliche Intelligenz der CAICT, stellte den „Bericht zur Leistungsüberwachung von LLM-Token-Diensten (2026, Public Cloud)" vor und erläuterte ihn. Die Überwachung zeigt, dass die Erfolgsquote der Aufrufe von Public-Cloud-LLM-Token-Diensten in China im Jahr 2026 insgesamt stabil war, die Anzahl der ausgegebenen Tokens pro Sekunde (TPS) und die Zeit bis zum ersten Token (TTFT) gleichzeitig zunahmen und die Dienstpreise einen deutlichen Anstieg verzeichneten.
Die CAICT startete Ende 2024 mit der Leistungsüberwachung von LLM-Token-Diensten und hat inzwischen ein integriertes Überwachungssystem aus „Standard – Indikator – Daten – Plattform" aufgebaut. Dieses System basiert auf einschlägigen Standards wie der „Testmethode für die Inferenzleistung von Large Language Models" (ITU-T F.PEM-LLM, 2026-0478T-YD, AIAT/T 0221-2025) und umfasst einen umfassenden Satz von Leistungsindikatoren und mehrdimensionale Testdatensätze. Die Überwachung erfolgt rund um die Uhr über Server an verschiedenen geografischen Standorten. Bis Mai 2026 wurden bereits über hundert Public-Cloud-LLM-Token-Dienste getestet. Die Überwachungsobjekte umfassen sowohl die nativen LLM-Token-Dienste in- und ausländischer Hersteller als auch die technische Umsetzung von Open-Source-Modellen wie DeepSeek, Qwen, GLM und Kimi auf verschiedenen Plattformen. Hinsichtlich der Überwachungsfrequenz werden täglich zu verschiedenen Zeitpunkten kontinuierlich Anfragen von Servern an unterschiedlichen Standorten gesendet. Seit Ende Mai 2026 wurde die Überwachungsfrequenz für die Aufruferfolgsquote auf einmal alle fünf Minuten erhöht, um Dienstschwankungen noch sensibler zu erfassen.
Die Überwachungsdaten zeigen drei wesentliche Beobachtungen. Erstens: Der Durchsatz und die Latenz von LLM-Token-Diensten nehmen gleichzeitig zu. Im Inland lag die Erfolgsquote der Aufrufe nativer LLM-Modelle von Januar bis April bei über 99,9 %, der Anteil der Token-Dienste mit einer Aufruferfolgsquote von 100 % stieg von 75 % auf 83 %. Im Mai, aufgrund der Erhöhung der Abtastfrequenz von 15 Mal pro Tag auf einmal alle fünf Minuten, wurden mehr sporadische Nichtverfügbarkeiten erfasst, wodurch die Gesamterfolgsquote der Aufrufe auf 99,79 % sank und der Anteil der 100%-Quote auf 39 % fiel.
Beim TPS-Indikator stieg der Durchschnittswert von Januar bis Mai im Inland stetig an. Der Wert im Mai lag um 73,12 % höher als der Jahresdurchschnitt 2025. Zwei Modelle erreichten eine TPS von über 100/Sekunde, der Spitzenwert lag bei über 200/Sekunde, der Durchschnitt bei 66,22/Sekunde und der Median bei 53,68/Sekunde. Ausländische Modelle wiesen insgesamt weiterhin ein hohes TPS-Niveau auf: Gemini-3.1-pro-preview erreichte 158,37/Sekunde, GPT-5.5 erreichte 64,08/Sekunde, der Durchschnittswert im Mai lag bei 99,03/Sekunde und damit immer noch deutlich über dem inländischen Niveau.
Hinsichtlich der Zeit bis zum ersten Token (TTFT) stieg der durchschnittliche TTFT von Januar bis Mai im Inland von 0,8 Sekunden auf 1,09 Sekunden, ein Anstieg von 36,25 %. Der niedrigste TTFT im Mai betrug 0,4 Sekunden, der höchste 1,64 Sekunden. Bei 47 % der Modelle lag der TTFT unter 1 Sekunde. Drei ausländische Modelle mit großer Parameteranzahl hatten einen TTFT von über 1 Sekunde, im Durchschnitt 1,8 Sekunden, wobei Gemini-3.1-pro-preview mit über 2 Sekunden den längsten Wert aufwies. Der Bericht weist darauf hin, dass der Anstieg des TTFT nicht einfach auf eine Leistungsverschlechterung zurückzuführen ist, sondern das Ergebnis mehrerer Faktoren wie der Zunahme der Modellparameteranzahl, der Kontextlänge und des Aufrufvolumens ist.
Zweitens: Die Entwicklung der Large Language Models hin zu einer „Rückkehr zum Wert" und einem „Fähigkeitssprung". Bei den Marktpreisen gab es 2026 einen deutlichen Anstieg der Token-Dienstpreise. Der normalisierte Preis pro Million Tokens lag in der zweiten Jahreshälfte 2025 bei 6,8 Yuan und stieg 2026 auf 10,3 Yuan, ein Anstieg von 51 %, liegt aber immer noch weit unter dem Preisniveau ausländischer Mainstream-Modelle von etwa 120 Yuan. Der Bericht betont, dass bei den tatsächlichen Nutzungskosten der Stückpreis und die Token-Verbrauchseffizienz gemeinsam berücksichtigt werden müssen. Ausländische Modelle verbrauchen während der Inferenz weniger Tokens, aber aufgrund der hohen Preise sind die Gesamtausgaben dennoch höher. GPT und Claude sind die beiden Modelle mit den höchsten Ausgaben. Inländische Modelle haben in der Regel einen höheren Token-Verbrauch, aber aufgrund der niedrigen Preise sind die Gesamtausgaben geringer.
Die Kontextlänge der Modelle erweitert sich kontinuierlich in den Millionenbereich. Im Mai erreichten 35,3 % der inländischen Modelle eine Kontextlänge von 1M (einer Million Tokens), und insgesamt 88,3 % erreichten 200K oder mehr, ein Anstieg von über 60 % im Vergleich zum Jahresende 2025. Die neuesten Modellserien von OpenAI, Anthropic und Google im Ausland haben alle eine Kontextlänge von 1M oder mehr erreicht. Inländische Open-Source-LLMs sind zur bevorzugten Wahl vieler globaler Plattformen geworden. Von den 22 untersuchten in- und ausländischen MaaS-Plattformen erreichten die DeepSeek- und Qwen-Modellserien eine Online-Verfügbarkeit von 100 %, während GLM, Kimi und MiniMax-Serien 91 %, 86 % bzw. 82 % erreichten.
Drittens: Die Inferenzleistung von Open-Source-Modellen auf verschiedenen MaaS-Plattformen variiert deutlich. Die Leistung desselben Modells schwankt stark zwischen verschiedenen Plattformen, und die Unterschiede in der technischen Optimierung auf Plattformseite sind erheblich. Die TPS von vier inländischen Open-Source-Modellen auf verschiedenen Plattformen konzentrierte sich auf etwa 50/Sekunde, die TTFT auf etwa 1 Sekunde. Die Aufruferfolgsquote näherte sich insgesamt 100 %, aber bei einigen Modellen auf bestimmten Plattformen lag sie immer noch unter 90 %, was darauf hindeutet, dass die Dienststabilität der Plattformen noch weiter optimiert werden kann.
Die CAICT gab bekannt, dass die Überwachungsarbeit für Token-Dienste in vier Bereichen weiter vertieft wird. Erstens: Optimierung des Überwachungssystems, einschließlich der Aufnahme von Leistungsindikatoren für multimodale LLMs, Verkürzung des Berichtsveröffentlichungszyklus und Verbesserung der automatisierten Analyse- und Frühwarnfunktionen der Plattform. Zweitens: Schrittweise Öffnung der Überwachungsdaten, um Datenunterstützung für wissenschaftliche Forschung, Branchenanalyse und Anwendungsauswahl zu bieten. Drittens: Aufbau regionaler Überwachungsplattformen, um maßgeschneiderte Dienste für Regionen und Unternehmensgruppen bereitzustellen und als Zugangsbenchmark für Token-Fabriken zu dienen. Viertens: Stärkung der Dienstqualitätsüberwachung und der Mechanismen zur Anomaliewarnung, mit vertiefter Problemanalyse und Qualitätskontrolle bei Anomalien.
Die CAICT wird weiterhin mit allen Branchenakteuren zusammenarbeiten, sich auf die Arbeitsgruppe für Token-Dienste (in Gründung) der China Artificial Intelligence Industry Development Alliance (AIIA) stützen und die Arbeiten in den Bereichen Standarderstellung, Aufstiegsprojekt, Erstellung von Forschungsberichten sowie Konformitätstests und -bewertung vertiefen, um den Aufbau eines hochwertigen Token-Dienst-Ökosystems zu beschleunigen.
