de.wedoany.com-Bericht: iFlytek hat am 19. Juli offiziell die Spark Token Factory vorgestellt, die Unternehmen dabei helfen soll, die Effizienz und das Management von Large Language Models (LLMs) zu verbessern und eine zukunftsfähige Infrastruktur-Basis für LLMs aufzubauen.
Bei der großflächigen Einführung von KI in Unternehmen treten eine Reihe von Betriebs- und Managementproblemen auf. Die Anzahl der Modelle nimmt stetig zu, die Kosten für den Aufruf steigen kontinuierlich, die Anforderungen an die Systemstabilität werden höher, während die Fähigkeiten in den Bereichen modellübergreifendes Management, Kostenkontrolle, Sicherheitsgovernance und Laufzeitüberwachung hinterherhinken. Unternehmen müssen oft mehrere Modelldienste gleichzeitig anbinden, um verschiedene Geschäftsszenarien wie Code-Assistenten, intelligente Kundenbetreuung, Wissensbeantwortung, Inhaltsgenerierung und Dokumentenverarbeitung zu unterstützen. Die Komplexität verschiedener Aufgaben variiert erheblich, aber in der Praxis wird oft ein einheitliches Modell verwendet, was zu einer geringen Ressourceneffizienz und ständig steigenden Token-Kosten führt. Der parallele Betrieb mehrerer Modelle stellt zudem höhere Anforderungen an Systemstabilität, Sicherheitsgovernance und Betriebsmanagement. Der KI-Aufbau in Unternehmen bewegt sich allmählich von der „Modellfähigkeitsentwicklung“ zur „KI-Infrastrukturentwicklung“. Der Fokus liegt nicht mehr nur auf den Fähigkeiten des Modells selbst, sondern darauf, wie die Modellfähigkeiten wirklich in die Geschäftsprozesse integriert werden können, um einen stabilen Betrieb, eine einheitliche Governance und eine kontinuierliche Optimierung zu erreichen.
Die Spark Token Factory positioniert sich als unternehmensweite intelligente Routing-Plattform für KI-Modelle. Sie bietet Kernfunktionen wie einheitlichen Modellzugang, intelligentes Routing, Optimierung der Token-Kosten sowie Sicherheits- und Compliance-Governance. Damit bildet sie einen vollständigen Kreislauf, der „Zugang – Governance – Beobachtung – Betrieb“ abdeckt, und schafft einen einheitlichen LLM-Dienstzugang für Unternehmen, der die Verwaltung, Kontrolle und Rückverfolgbarkeit von LLM-Ressourcen ermöglicht.
Die intelligente Routing-Funktion bewertet die Aufgabenkomplexität anhand mehrdimensionaler Merkmale wie Prompt-Länge, vordefinierte Regeln, benutzerdefinierte Regeln, Dialogrunden und Session-Affinität und führt ein intelligentes Aufgabenmanagement auf den Stufen L1 bis L3 durch. Die Plattform berücksichtigt umfassend die fünf Faktoren Qualität, Kosten, Latenz, Verfügbarkeit und Sicherheitsstufe, um geeignete Modellressourcen zuzuordnen. So werden einfache Aufgaben mit kosteneffizienteren Modellen bearbeitet, während komplexe Aufgaben bevorzugt leistungsstärkeren Modellen zugewiesen werden. Die durchschnittliche Entscheidungslatenz kann auf unter 100 Millisekunden gehalten werden. Durch die intelligente Routing-Fähigkeit kann die Plattform den Aufrufdruck auf große Modelle effektiv reduzieren und Unternehmen mehr Spielraum für Kostenoptimierung eröffnen.
Im Szenario der lokalisierten, privatisierten Bereitstellung optimiert die Spark Token Factory gängige Open-Source-LLMs End-to-End basierend auf den Hardwareeigenschaften von Ascend. Auf der Speicherseite wird durch verschiedene Modellkomprimierungs- und Präzisionsoptimierungstechniken die Speichernutzung unter kontrollierter Präzision reduziert. Auf der Rechen- und Kommunikationsseite werden zentrale Rechenoperatoren fusioniert und die Multi-Karten-Kommunikation durch Scheduling-Neuanordnung so optimiert, dass Rechnung und Kommunikation parallel überlappt werden. Auf der Cache- und Scheduling-Seite werden durch knotenübergreifendes verteiltes KV-Cache-Management und mehrstufiges Speicher-Scheduling kontextbewusste Cache-Routing- und Kontextwiederverwendungs-Rekombinationsstrategien eingeführt. Auf der Dekodierungsseite wird ein auf Ascend-Hardware zugeschnittener paralleler Dekodierungsbeschleunigungsmechanismus eingeführt. Messdaten zeigen, dass unter gleichen Hardwarebedingungen die Inferenzeffizienz im Vergleich zum Open-Source-Framework vLLM-Ascend um etwa das Fünffache gesteigert wird und die Latenz des ersten Tokens um 30 %–40 % reduziert wird.
Im Bereich der Sicherheit verwendet die Spark Token Factory eine Drei-Gewalten-Teilungsarchitektur: Das Management hat keinen Zugriff auf Daten, Operationen haben keinen Zugriff auf Berechtigungen, und die Prüfung hat keinen Zugriff auf Geschäfte. Diese drei Bereiche sind voneinander unabhängig und kontrollieren sich gegenseitig. Die Plattform erstellt automatisch unveränderliche, vollständig nachvollziehbare Prüfaufzeichnungen für alle kritischen Vorgänge, die sechs Kategorien abdecken: Datenzugriff, Berechtigungsänderungen, Modellaufrufe und Datencxporte, und erfüllt damit die Anforderungen des Informationssicherheitsschutzes. Der Schutz sensibler Informationen umfasst personenbezogene Daten und Geschäftsdaten, die über ein gestuftes Routing so gelenkt werden, dass sensible Daten die definierte Domäne nicht verlassen.
Die Spark Token Factory bietet eine End-to-End-Full-Chain-Log-Prüfungsfähigkeit, die den gesamten Prozess einer Anfrage vom Eintritt in die Plattform bis zur endgültigen Rückgabe des Ergebnisses aufzeichnet. Durch Log-Tracing, Aufzeichnung der Routing-Entscheidungen, Token-Verbrauchsstatistiken und Kostenursachenanalyse erhalten Unternehmen Einblick in den Betriebsstatus und den Ressourcenverbrauch jedes Modellaufrufs. In Kombination mit Budgetverwaltung, ROI-Analyse und visuellen Berichten werden so Daten für die anschließende Betriebsoptimierung und Ressourcenplanung bereitgestellt. Die Veröffentlichung der Spark Token Factory vervollständigt die Fähigkeiten von iFlytek im Bereich der unternehmenseigenen KI-Infrastruktur weiter und markiert einen neuen Schritt, bei dem Unternehmens-LLM-Anwendungen von punktuellen Erkundungen zu einem skalierbaren Betrieb übergehen.
