de.wedoany.com-Bericht: Der Leistungswettbewerb bei großen Sprachmodellen (LLMs) ist zunehmend mit der „Infrastrukturstrategie“ von KI-Unternehmen verknüpft. Advanced Micro Devices (AMD) weist in seinem Blog darauf hin, dass die bloße Vergrößerung von GPU-Clustern mit mehreren Engpässen wie Strom, Kosten und Netzwerk konfrontiert ist. Daher wird die „Hardware-Software-Co-Design“-Strategie, die bereits in der frühen Softwareentwurfsphase Hardwarebeschränkungen berücksichtigt, zur Kernstrategie von KI-Unternehmen.
xAIs „Grok 4.0“ und DeepSeeks „DeepSeek-V2“ zeigen zwei grundlegend unterschiedliche Infrastrukturansätze. xAI setzt mit dem Einsatz des 200.000 Einheiten umfassenden H100-Clusters „Colossus“ auf eine groß angelegte Infrastrukturstrategie. Allerdings beeinträchtigt der Netzwerkengpass bei der Datenübertragung zwischen den GPUs in dieser Größenordnung die Gesamtrecheneffizienz. Um dieser Herausforderung zu begegnen, bündelt xAI bei der Entwicklung von Grok 4.0 neun 400G-Netzwerkschnittstellenkarten (NICs) pro Server, um eine Bandbreite von 3,6 Tb/s zu erreichen. Gleichzeitig verwendet xAI aus Kostengründen RoCE auf Basis von Standard-Ethernet anstelle von Nvidias InfiniBand. Um das Problem des „Entropiekollapses“ aufgrund statischer Berechnungsgraphen zu lösen, führt xAI die Technologie des „Adaptive Routing“ ein, die den Pfad paketweise in Echtzeit ändert.
Im Gegensatz dazu wählt DeepSeek den Ansatz, die Hardwareeffizienz in relativ kleinen H800-GPU-Clustern mit einer Größe von 2.000 bis 50.000 Einheiten zu maximieren. Da die Hardware nicht blind erweitert werden kann, geht DeepSeek auf Architekturebene vor, um das Netzwerkverkehrsvolumen an der Wurzel zu reduzieren. DeepSeek-V2 verwendet eine Mixture-of-Experts (MoE)-Struktur und entwirft gleichzeitig die Technologie des „Device-limited expert routing“, die den inhärenten Engpass von MoE-Modellen – die Kommunikation des Expert-Routings – mit der GPU-Hardwareberechnung überlappt. Dank dieser Softwareoptimierung wird die Leerlaufzeit der GPUs aufgrund von Netzwerkblockaden minimiert, und DeepSeek erzielt mit nur einem Zehntel der Hardwareinfrastrukturkosten von Grok 4.0 eine wettbewerbsfähige Leistung.
Die gegensätzlichen Strategien der beiden Modelle zeigen, dass der Ansatz der blinden Infrastrukturerweiterung deutliche Grenzen in Bezug auf Kosten und Effizienz aufweist. Die Fähigkeit, die Beschränkungen der Hardwareinfrastruktur genau zu verstehen und das Modell entsprechend fein abzustimmen – das „Co-Design“ – wird zu einem entscheidenden Faktor im zukünftigen KI-Marktwettbewerb.
