de.wedoany.com-Bericht: Cafe24 gab am 23. bekannt, den KI-Operations-Infrastrukturdienst namens „Large Language Model (LLM) Router" eingeführt zu haben, der über eine einzige Anwendungsprogrammierschnittstelle (API) die Nutzung von mehr als 120 KI-Modellen integriert.
Die Kernfunktion des LLM-Routers besteht darin, als „Orchestrator" zu fungieren, der über 120 Schnittstellen wichtiger KI-Modelle wie ChatGPT, Claude und Gemini auf einer einzigen Plattform verbindet und basierend auf den eingegebenen Anfragen der Benutzer automatisch das geeignete Modell auswählt, zuweist und umschaltet.
Der Dienst unterstützt die Nutzung von über 120 KI-Modellen, darunter die GPT-Serie von OpenAI sowie Claude, Gemini, DeepSeek, Qwen, Llama und andere, über eine einzige API. Sein Kern ist die Routing-Engine, die basierend auf dem Inhalt der Benutzereingabe Arbeitstypen wie Codierung, logisches Denken, Übersetzung und kreatives Schreiben analysiert und automatisch das am besten geeignete KI-Modell verbindet. Wenn der Benutzer den verfügbaren Modellbereich im Voraus festlegt, verbindet sich das System automatisch nur innerhalb dieses Bereichs, ohne dass der Benutzer Modelle einzeln vergleichen oder auswählen muss.
Der Dienst bietet auch eine Funktion zur Priorisierung von KI-Dienstanbietern nach Benutzerkriterien. Unter mehreren KI-Dienstanbietern, die dasselbe Modell anbieten, verbindet sich das System automatisch mit dem am besten geeigneten Anbieter, basierend auf den vom Benutzer gewählten Kriterien wie Kosten, Geschwindigkeit oder Verarbeitungsvolumen. Beispielsweise verbindet sich das System für dasselbe Claude-Modell automatisch mit dem kosteneffizientesten Anbieter, wenn der Benutzer Kosten als Kriterium wählt, und mit dem am schnellsten reagierenden Anbieter, wenn Geschwindigkeit als Kriterium gewählt wird. Gleichzeitig unterstützt der Dienst Whitelist- und Blacklist-Funktionen, die es Benutzern ermöglichen, bestimmte KI-Dienstanbieter zuzulassen oder auszuschließen, um so den automatischen Verbindungsbereich flexibel zu steuern.
Um Situationen zu bewältigen, in denen ein bestimmtes KI-Modell nicht reagiert, unterstützt der LLM-Router eine „automatische Umschaltfunktion". Benutzer können im Voraus ein primäres Modell und ein Ersatzmodell festlegen. Wenn das primäre Modell nicht reagiert, übernimmt das nächste Kandidatenmodell automatisch die Bearbeitung der Anfrage. Wenn beispielsweise das als primäres Modell verwendete Claude nicht reagiert, übernehmen andere vorab festgelegte Modelle automatisch die Aufgabe, wodurch eine kontinuierlich laufende Betriebsumgebung aufgebaut wird.
Benutzer können mehrere KI-Modelle in einer einzigen Umgebung intuitiv verwalten. Über ein „Echtzeit-Dashboard" können Benutzer auf einem einzigen Bildschirm Daten wie Anzahl der Anfragen, Kosten, Token-Nutzungstrends, Kostenanteile der einzelnen Modelle sowie Erfolgs- und Fehlerquoten einsehen. Der Dienst unterstützt auch detaillierte Aufzeichnungen auf Anfrageebene sowie die Verfolgung der Nutzung nach Teams, Projekten und Umgebungen, um Benutzern zu helfen, die KI-Nutzung und Kostenstruktur effizienter zu erfassen.
Benutzer können auch ihre eigenen KI-Modellschlüssel mit dem LLM-Router verbinden und nutzen. Im „BYOK (Bring Your Own Key)"-Modus können Benutzer nach der Registrierung der Schlüssel für Modelle wie GPT, Claude und Gemini, die sie bereits verwenden, diese Modelle direkt in der LLM-Router-Umgebung nutzen und die Nutzungskosten der KI-Modelle direkt verwalten.
Der LLM-Router verwendet ein Guthaben-basiertes Abrechnungsmodell (Pay-as-you-go). Benutzer erhalten nach der Registrierung ein kostenloses Guthaben, um den Dienst direkt zu testen.
Cafe24 plant, die Unterstützung für neue KI-Modelle und KI-Dienstanbieter in Zukunft weiter auszubauen und die Entwicklung von Funktionen zur Verbesserung der Benutzerfreundlichkeit bei der KI-Operation und -Verwaltung kontinuierlich voranzutreiben.
Cafe24-CEO Lee Jae-seok (phonetisch) erklärte, dass mit der rasanten Zunahme der Arten von KI-Modellen die Frage, wie man sie effizient verbinden und betreiben kann, zu einer neuen Herausforderung werde. Er betonte, dass man die Rolle der entsprechenden Infrastruktur weiterhin solide erfüllen werde, damit Benutzer verschiedene KI-Modelle bequemer nutzen könnten.
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
