Amazon Web Services startet lokalen Inferenzdienst für Kimi K3 in Indien

de.wedoany.com-Bericht: Am 3. November hat Amazon Web Services (AWS) über die Plattform Amazon Bedrock in Indien offiziell den lokalen Inferenzdienst für das große Sprachmodell Kimi K3 von Moonshot AI eingeführt und den Bereich der Modellinferenzverarbeitung auf die beiden AWS-Regionen Mumbai und Hyderabad beschränkt. Der neue Dienst richtet sich an indische Unternehmen mit Anforderungen an die Datenresidenz, unterstützt die regionsübergreifende Zuweisung von Modellinferenzaufgaben innerhalb Indiens und bietet Funktionen für Streaming-Ausgabe, Tool-Aufrufe, strukturierte Datengenerierung und Prompt-Caching.

Die Kennung der nun verfügbaren indienspezifischen Inferenzkonfiguration lautet in.moonshotai.kimi-k3 und entspricht den beiden AWS-Regionen Mumbai ap-south-1 und Hyderabad ap-south-2. Unternehmen können Modellaufrufe aus jeder der beiden Regionen initiieren, wobei Amazon Bedrock die Zuweisung der Inferenzaufgaben innerhalb Indiens übernimmt. Die regionsübergreifende Übertragung erfolgt über das interne AWS-Netzwerk und die Daten werden während der Übertragung verschlüsselt. Unternehmen können auch die globale Inferenzkonfiguration global.moonshotai.kimi-k3 wählen, um Rechenressourcen in anderen unterstützten Regionen zu nutzen.

Das indische Unternehmen für intelligente Gesundheitsgeräte Ultrahuman setzt das über Amazon Bedrock bereitgestellte Kimi-K3-Modell bereits in der Produktionsumgebung ein, um seinen KI-Gesundheitsassistenten Jade zu betreiben. Der Assistent kombiniert Daten von Smart Rings und Glukoseüberwachungsgeräten und verarbeitet täglich mehr als 14.000 Nutzerdialoge. Aditya Patawari, Vice President of Engineering bei Ultrahuman, erklärte, das Unternehmen habe durch Prompt-Caching die Kosten für die Nutzung großer Sprachmodelle um 80 % gesenkt, die Antwortgeschwindigkeit bei mehrstufigen Dialogen um 85 % erhöht und die Region Mumbai als Ausweichregion für die Inferenz eingerichtet.

Der von AWS bereitgestellte Kimi-K3-Dienst unterstützt vier Aufrufschnittstellen: Chat Completions, Responses, Converse und InvokeModel. Entwickler können über eine OpenAI-kompatible API auf das Modell zugreifen und die Modellaufrufe über AWS Identity and Access Management berechtigungsgesteuert verwalten. Die indienspezifische Inferenzkonfiguration unterstützt Streaming-Antworten, Tool-Aufrufe und Datenausgaben, die einem vorgegebenen JSON-Schema entsprechen.

AWS hat zeitgleich Beispielcode zur Hindi-Dokumentenerkennung und Informationsextraktion auf Basis von Kimi K3 veröffentlicht, der die Verarbeitungsabläufe für gescannte Rechnungen, Identitätsprüfungsdokumente sowie gemischt hindi-englische Texte demonstriert. Die Beispiele umfassen Texterkennung, Datumsformatkonvertierung, Standardisierung hindi-spezifischer Zahlendarstellungen, Extraktion strukturierter JSON-Felder und mehrstufige Frage-Antwort-Szenarien und bieten Konfigurationen für Funktionsaufrufe und JSON-Schema-beschränkte Ausgaben.

Gemäß der von AWS veröffentlichten Standarddienstpreisgestaltung beträgt der Eingabepreis für den lokalen Inferenzdienst in Indien 3,30 US-Dollar pro 1 Million Token, der Ausgabepreis 16,50 US-Dollar, der Preis für Cache-Lesevorgänge 0,33 US-Dollar und der Preis für 30-minütige Cache-Schreibvorgänge 4,125 US-Dollar. Die globale Inferenzkonfiguration entspricht Eingabe- und Ausgabepreisen von 3 US-Dollar bzw. 15 US-Dollar. AWS bietet zudem die Serviceebenen Flex und Priority an, wobei Flex mit 50 % des Standardpreises und Priority mit 175 % des Standardpreises abgerechnet wird; der konkrete Geltungsbereich richtet sich nach der jeweiligen Konfiguration der Serviceebene.