Am 27. Oktober veröffentlichte Qualcomm seine neue Generation von Lösungen zur Optimierung der Inferenz künstlicher Intelligenz in Rechenzentren: Beschleunigerkarten und Racks auf Basis der KI-Chips Qualcomm AI200 und AI250.
Qualcomm AI200 stellt eine Lösung für KI-Inferenz im Rack-Maßstab vor, die niedrige Gesamtbetriebskosten (TCO) und optimierte Leistung für die Inferenz großer Sprachen und multimodaler Modelle (LLM, LMM) sowie andere KI-Workloads bietet. Jede Karte unterstützt 768 GB LPDDR-Speicher für höhere Speicherkapazität und geringere Kosten.
Die AI250-Lösung von Qualcomm wird eine innovative Speicherarchitektur auf Basis von Near-Memory-Computing verwenden und so die Effizienz und Leistung von Inferenz-Workloads künstlicher Intelligenz steigern, indem sie eine mehr als zehnmal höhere Speicherbandbreite und einen geringeren Stromverbrauch bietet.
Beide Rack-Lösungen nutzen direkte Flüssigkeitskühlung für eine verbesserte thermische Effizienz, unterstützen PCIe-Erweiterung, Ethernet-Erweiterung, vertrauliches Computing für sichere KI-Workloads und bieten eine Leistungsaufnahme von 160 kW auf Rack-Ebene. Qualcomm AI200 und AI250 werden voraussichtlich 2026 bzw. 2027 kommerziell verfügbar sein.
