de.wedoany.com-Bericht: Südkoreanische Softwareunternehmen senken die durch die Verbreitung von KI-Agenten drastisch gestiegenen Token-Kosten durch eine Kombination verschiedener Technologien wie Prompt-Optimierung, LLM-Gateways, lokale Bereitstellung und Multi-Modell-Strategien.

KI-Agenten rufen zur Erfüllung von Aufgaben mehrfach selbstständig Sprachmodelle auf und führen verschiedene Tools aus, was den Token-Verbrauch im Vergleich zur menschlichen Nutzung um ein Vielfaches bis zu mehreren Dutzend Mal erhöht. Ein südkoreanisches Unternehmen hat seit diesem Jahr unternehmensweit KI-Agenten eingeführt, die monatlich etwa 250 Milliarden Token verbrauchen und monatliche Infrastrukturkosten in Höhe von 200 bis 300 Millionen Won verursachen.

Einige Unternehmen beginnen mit der Verschlankung von Prompts und Caching. WISEITECH reduziert unnötig lange Eingaben und wiederholte Aufrufe, während Naver Cloud die Modelle je nach Aufgabe optimiert. Unternehmen betrachten LLM-Gateways zunehmend als zentrale Kontrollknoten, um die Modellnutzung der Abteilungen in Echtzeit zu überwachen. Hancom integriert Routing- und Fallback-Systeme, NDS baut Gateways auf Basis von LiteLLM.

Lokale Bereitstellungslösungen werden ebenfalls von mehreren Unternehmen eingesetzt. MakinaRocks verbindet Open-Source-Modelle mit der eigenen vLLM-Infrastruktur, S2W nutzt eigene GPU-Server für die Verarbeitung großer Aufgabenmengen. Multi-Modell-Strategien weisen standardisierte, wiederkehrende Aufgaben leichten oder Open-Source-Modellen zu. Crowdworks setzt auf kommerzielle Modelle wie Amazon Bedrock in Kombination mit Mini-Modellen. CyNapse Soft führt die Serena MCP- und LSP-Technologie ein, die Quellcode in semantische Einheiten segmentiert und im Vergleich zu Open-Source-Frameworks eine Token-Einsparung von etwa 20 % erzielt.

Die Kostenoptimierung im Zeitalter generativer KI stellt die Architekturfähigkeiten der Unternehmen auf die Probe. Der Aufbau eines umfassenden Kontrollsystems durch Caching zur Eliminierung doppelter Anfragen, lokale Bereitstellung zur Isolierung sensibler Daten und Routing zum Ersetzen teurer Modelle wird zum Maßstab für die Nachhaltigkeit von Softwareunternehmen.