de.wedoany.com-Bericht: Arrcus und der kanadische Telekommunikationsanbieter TELUS haben den Start eines Proof-of-Concept (PoC)-Projekts bekannt gegeben, das die Arrcus Inference Network Architecture (AINF) als Netzwerkgrundlage für souveräne, verteilte KI-Inferenz in Kanada bewerten soll.
Ziel der Initiative ist es, Kunden aus den Bereichen öffentliche Sicherheit, Notfallhilfe, Regierungsbehörden und Unternehmen KI-Dienste mit niedriger Latenz bereitzustellen und gleichzeitig sicherzustellen, dass sensible Daten und KI-Workloads in Kanada verbleiben. Dieser PoC spiegelt den breiteren Wandel der KI-Architektur vom zentralisierten Modelltraining hin zur verteilten Inferenz wider, bei dem KI-Modelle näher an Benutzern, Geräten und Datenquellen ausgeführt werden. Arrcus positioniert AINF als eine speziell für KI-Workloads entwickelte, strategiebewusste Netzwerkarchitektur.
Die Plattform kann vom Betreiber definierte Strategien wie Latenzanforderungen, Datenhoheitsregeln, Modellauswahl, Kapazitätsverfügbarkeit und Leistungsbeschränkungen bewerten und Inferenzanfragen dann dynamisch an den am besten geeigneten Rechenstandort weiterleiten. Auf der Bereitstellungsebene integriert sich AINF mit NVIDIA BlueField-3 DPUs und Spectrum-4 Ethernet-Switches, um eine verschlüsselte, verteilte KI-Konnektivität über Edge-, Rechenzentrums- und Cloud-Umgebungen hinweg bereitzustellen.
Die Architektur ist zudem in NVIDIA Dynamo für das lokale Lastmanagement großer Sprachmodelle (LLMs) integriert, während AINF das netzwerkweite Inferenz-Routing über die Infrastruktur von TELUS verwaltet. Arrcus gibt an, dass dieser Ansatz darauf abzielt, die KI-Reaktionsfähigkeit, die Auslastung der Rechenressourcen und die Einhaltung der kanadischen Datenaufbewahrungsanforderungen zu verbessern. TELUS evaluiert AINF für souveräne KI-Bereitstellungen zur Unterstützung von Anwendungen im Bereich öffentliche Sicherheit, Regierung und Unternehmen. AINF bietet ein KI-strategiebewusstes Routing basierend auf Latenz, Souveränität, Modellverfügbarkeit, Netzwerkbedingungen und Betriebsstrategien und unterstützt Geofencing und die Durchsetzung von Datenaufbewahrung, um KI-Workloads in Kanada zu halten.
Die Integration mit NVIDIA BlueField-3 DPUs ermöglicht eine verschlüsselte Übertragung mit bis zu 400 Gbit/s ohne CPU-Overhead. Die Architektur unterstützt außerdem NVIDIA Dynamo, vLLM, SGLang, Triton, Kubernetes, SRv6 und das Mobile User Plane (MUP)-Netzwerk. Laut Branchenforschungsquellen nennt Arrcus potenzielle Vorteile: eine Reduzierung der Time-to-First-Token (TTFT) um über 60 %, eine Reduzierung der Ende-zu-Ende-Latenz um 40 %, eine Steigerung des Durchsatzes um 15 % und eine Senkung der Inferenzkosten um bis zu 30 %.
Tim Fell, Vice President of Wireline Technology and Services bei TELUS, sagte: „Öffentliche Sicherheit und kritische Dienste benötigen KI, die von Natur aus schnell, zuverlässig und souverän ist. Mit AINF bietet uns Arrcus eine intelligente, strategiebewusste Netzwerkgrundlage, die KI-Inferenz schnell und in großem Maßstab in unserem Netzwerk bereitstellen kann, während gleichzeitig die Datenhoheit, Sicherheit und Vorhersagbarkeit gewährleistet wird, die unsere Partner im öffentlichen Sicherheitsbereich, Regierungskunden und Unternehmenskunden benötigen.“
Diese Ankündigung unterstreicht das wachsende Interesse der Branche an KI-Inferenz-Netzwerken im Gegensatz zu KI-Trainingsclustern. Obwohl sich der Fokus des KI-Infrastrukturmarktes größtenteils auf GPUs und groß angelegtes Modelltraining konzentriert, stehen Betreiber zunehmend vor den Herausforderungen, die mit der Bereitstellung von Inferenzdiensten an geografisch verteilten Standorten verbunden sind. Dieser Trend treibt das Interesse an Netzwerkplattformen, die Routing-Entscheidungen auf Basis KI-spezifischer Strategien treffen können. Für Arrcus ist die Zusammenarbeit mit TELUS eine prominente Validierungsmöglichkeit für AINF. AINF ist eine speziell für verteilte KI-Inferenz entwickelte Netzwerkarchitektur, die das Unternehmen Anfang dieses Jahres vorgestellt hat. Die Plattform erweitert die breitere Strategie von Arrcus, eine softwaredefinierte Netzwerkinfrastruktur auf Basis seines ArcOS-Betriebssystems aufzubauen und gleichzeitig das kommerzielle Chip-Ökosystem zu nutzen. Die Integration mit NVIDIA BlueField-DPUs, Spectrum-Ethernet-Switches und Dynamo-Software bringt Arrcus in Einklang mit der schnell wachsenden KI-Infrastruktur von NVIDIA, da Dienstanbieter und Regierungen weltweit souveräne KI-Initiativen und verteilte Inferenzarchitekturen erkunden.
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
