de.wedoany.com-Bericht: VIDRAFT hat kürzlich die Leistungsrangliste der VKAE-Engine zur Beschleunigung der Inferenz großer Sprachmodelle veröffentlicht und Docker-Container mit integrierten Modellgewichten und Serviceumgebungen bereitgestellt. Die Engine mit dem Namen VIDRAFT Kernel Acceleration Engine ist ein Beschleunigungswerkzeug auf Kernel-Ebene.
Unter denselben GPU- und Rahmenbedingungen steigert VKAE den Inferenzdurchsatz im Vergleich zu Standarddiensten um bis zu 23,4-fach. Die Engine erhöht den Durchsatz und die Antwortgeschwindigkeit bei gleichbleibender Ausgabequalität. Benutzer können die Leistung durch Ausführen des öffentlichen Containers in ihrer eigenen GPU-Umgebung direkt überprüfen. VKAE unterstützt zudem die OpenAI-kompatible API und kann an bestehende Dienste angebunden werden.
Laut den eigenen Messungen von VIDRAFT generiert das repräsentative Modell Qwen3.5-35B-A3B auf einer NVIDIA B200 GPU mit FP8-Umgebung im Einzelstrom maximal 601 Token pro Sekunde. Bei der Verarbeitung mehrerer Anfragen übersteigt der Durchsatz 10.000 Token pro Sekunde. Auch das extrem große Modell JGOS-398B verwendet die gleiche Optimierungstechnologie. Die interne Implementierung des Kernels ist als Geschäftsgeheimnis nicht öffentlich, kann aber über die Rangliste und den einheitlichen Container extern verifiziert werden.
VIDRAFT hob vier Punkte dieser Veröffentlichung hervor: die Überprüfbarkeit, da Benutzer die Daten direkt reproduzieren können; die Kostensenkung durch den gesteigerten Durchsatz; die Qualitätssicherung während der Geschwindigkeitsverbesserung; und die sofortige Integration über die OpenAI-kompatible API. VKAE unterstützt hauptsächlich die NVIDIA Blackwell (B200)- und Hopper (H100, H200)-Serie von GPUs und erweitert die Unterstützung auf Modelle wie den A10G small.
VIDRAFT hat zuvor bereits FINAL Bench zur Messung der metakognitiven Fähigkeiten von KI, die Runtime-Middleware MARL zur Reduzierung von Halluzinationen sowie Modellserien wie Darwin, Chimera und Aether veröffentlicht und damit umfassende KI-Fähigkeiten von der Modellentwicklung bis zur Serviceoptimierung aufgebaut. Der VIDRAFT-Vertreter Kim Min-sik erklärte, dass Geschwindigkeitswettbewerbe ohne Reproduzierbarkeit sinnlos seien und der Kern von VKAE darin liege, dass Benutzer die Leistung mit ihrer eigenen Hardware direkt überprüfen könnten.
VIDRAFT ist ein 2024 gegründetes Startup mit Sitz im Seoul AI Hub, das bis 2030 True-AGI erreichen will. Das Unternehmen entwickelt ein koreanisch-spezifisches LLM, ein wissenschaftliches Reasoning-Modell sowie eine Infrastruktur zur Inferenzbeschleunigung und treibt die globale Marktexpansion voran.
