de.wedoany.com-Bericht: Die erste Token-Fabrik in Peking – die Peking Nr. 1 Token-Fabrik – wurde offiziell im Xinyuan-Park des Wirtschafts- und Technologieentwicklungsgebiets in Betrieb genommen. Errichtet wurde sie von der iSoftStone Information Technology Co., Ltd. Die tägliche Token-Kapazität der ersten Projektphase beträgt 1,4 Billionen.
Ein Token ist die kleinste Einheit, mit der KI Text verarbeitet. Die Rechenleistung bestimmt, wie viele Token pro Sekunde verarbeitet werden können und wie hoch die Nutzungskosten sind. Die Fabrik besteht aus einer Vielzahl von Servern und zielt darauf ab, Rechenleistung in eine stabile und erschwingliche öffentliche Ressource umzuwandeln, um die Entwicklung großer Sprachmodelle von einfachen Dialogen hin zu langlebigen Systemen zu unterstützen.
Die Peking Nr. 1 Token-Fabrik konzentriert sich auf Szenarien für intelligente Agenten-Dienste. Durch extreme Engineering-Methoden wird die Hardware-Leistung maximiert, modernste Rechenleistungsplanung und extrem effiziente KV-Cache-Wiederverwendungsalgorithmen integriert. Die Fabrik garantiert eine Dienstverfügbarkeit von mindestens 99,9 %, eine Latenzzeit für das erste Zeichen (P90) von unter 10 Sekunden mit einer Schwankung von weniger als 20 % und eine Cache-Trefferquote von mindestens 90 %. Die Fabrik kann rund um die Uhr an 7 Tagen die Woche betrieben werden. Bei den Kernreaktionsindikatoren werden die Hälfte der Aufgaben innerhalb von 6 Sekunden beantwortet, 90 % der Aufgaben in weniger als 10 Sekunden, und die Schwankung wird innerhalb von 20 % gehalten.
iSoftStone hat gleichzeitig den Leistungsbenchmark der Token-Fabrik global als Open Source veröffentlicht, einschließlich des Bewertungsframeworks LoadGen 2.0. Dieser Benchmark basiert auf einer tiefgreifenden Neustrukturierung des branchenüblichen MLPerf LoadGen und ermöglicht einen Sprung von statischer gleichzeitiger Injektion zu dynamischer Verhaltenssimulation, wodurch reale chaotische Situationen in der Testumgebung definiert und reproduziert werden können. Der Benchmark ermöglicht die Bewertung und den Vergleich der tatsächlichen Dienstleistungsfähigkeit von Rechenleistungsclustern durch ein dreistufiges Bewertungssystem (untere Ebene: Methode zur Beschreibung chaotischer Lasten; mittlere Ebene: drei Standardtestmethoden – Nennleistung/Geschäfts-/Präzisionskorrektheit; obere Ebene: Standardsdatensätze für verschiedene Bereiche). LoadGen 2.0 ist vollständig als Open Source verfügbar.
In der nächsten Phase wird die Peking Nr. 1 Token-Fabrik mit grünen Strombasen in Zhangjiakou, Ulanqab und anderen Orten zusammenarbeiten, um einen integrierten Rechenleistungscluster in der Region Peking-Tianjin-Hebei aufzubauen. Das langfristige Ziel ist eine tägliche Produktion von 10 Billionen Token. Branchenexperten bewerten, dass die Inbetriebnahme dieses Projekts die inländische Lücke bei der großflächigen, hochwertigen Rechenleistungsversorgung schließt, einen Branchenstandard für Rechenleistungsdienste und -bewertung setzt und darüber hinaus weitere KI-bezogene Unternehmen anziehen wird, um die regionale Künstliche-Intelligenz-Industriekette kontinuierlich zu verbessern.
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
