de.wedoany.com-Bericht: Der russische Infrastruktur-Softwareentwickler Astra Group (Группа Астра) hat die Plattform „Botsman AI“ (Боцман AI) vorgestellt. Diese ermöglicht den Betrieb von Sprachmodellen und anderen KI-Modellen im internen Unternehmenssicherheitsnetzwerk und stellt sicher, dass keine Daten an externe Cloud-Dienste gelangen.
Botsman AI ist die logische Erweiterung der Plattform „Botsman“ (Боцман), einer auf Kubernetes basierenden, inländischen Container-Orchestrierungslösung. Sie ist Teil der Astra Dev Platform und konzentriert sich auf den Aufbau interner Entwicklungsplattformen sowie den Betrieb von Anwendungen in isolierten oder regulierten Infrastrukturen.
Unternehmen haben einen starken Bedarf an der Nutzung von Sprachmodellen, doch Anforderungen an die Informationssicherheit, regulatorische Einschränkungen und interne Richtlinien verbieten oft die Übertragung von Daten an externe Dienste. Die eigenständige Bereitstellung von Modellen erfordert in der Regel die Einrichtung separater Infrastrukturprojekte für jede Aufgabe, einschließlich der Auswahl der Laufzeitumgebung, der Konfiguration von GPUs, dem Laden von Gewichten, der Einrichtung von Endpunkten und der Überwachung. Botsman AI übernimmt diese Routineaufgaben.
Das Plattformteam konfiguriert über das standardmäßige Kubernetes-Ressourcenbeschreibungsmodell. Das System bereitet automatisch die Speicherung der Gewichte vor und startet die Laufzeitumgebung der erforderlichen Engines, darunter vLLM, Ollama, SGLang oder FasterWhisper. Anschließend werden die Modelle über ein einheitliches Gateway veröffentlicht. Der Aktualisierungsmechanismus erzeugt während des Updates kein Ausfallfenster, was besonders für den Betrieb teurer GPU-Infrastrukturen wichtig ist.
Anwendungsentwickler erhalten eine OpenAI-kompatible API. Ohne vorhandenen Code umschreiben zu müssen, reicht es aus, die Dienstadresse zu ändern, damit die Anwendung weiterhin mit den im internen Unternehmensnetzwerk bereitgestellten Modellen zusammenarbeitet. Die Plattform bietet zudem eine Reihe industrieller Werkzeuge, darunter integrierte automatische Lastskalierung, ein Abrechnungssystem und API-Schlüsselverwaltung mit Budgetkontrolle, um eine transparente Ressourcenzuweisung zwischen Teams und Projekten zu ermöglichen. Die Installation erfolgt über Botsman Apps & Marketplace in Form von Helm-Charts.
Michail Kobik (Mikhail Kobik), Technischer Direktor der Botsman-Plattform (Teil der Astra Group), erklärte, dass die Plattform russischen Unternehmen ermöglicht, moderne Sprachmodelle so bequem zu nutzen wie öffentliche Cloud-Dienste, jedoch vollständig im eigenen internen Netzwerk. Dadurch bleiben Datenhoheit, planbare Kosten und Unabhängigkeit von ausländischen Anbietern gewahrt. Das Besondere sei, dass die Bereitstellung von KI-Modellen von einem komplexen Infrastrukturprojekt zu einem standardisierten Kubernetes-Vorgang wird, den jedes Plattformteam ausführen kann.
