de.wedoany.com-Bericht: Das US-amerikanische Unternehmen DeepInfra hat kürzlich in Toronto, Kanada, einen KI-Rechenzentrumsknoten in Betrieb genommen. Die Einrichtung bietet eine Kapazität von 1,7 MW und plant die Bereitstellung von über 1.000 Nvidia Blackwell B300 GPUs aus den USA. Dieses Projekt ist der neunte weltweit in Betrieb genommene Rechenzentrumsknoten von DeepInfra und die erste Ausweitung der KI-Computing-Infrastruktur auf Märkte außerhalb der USA.
Die Einrichtung in Toronto ist hauptsächlich auf KI-Inferenzdienste ausgerichtet. Im Gegensatz zum zentralisierten Training großer Modelle erfordert die Inferenzphase eine langfristige, kontinuierliche Beantwortung von Benutzeranfragen. Die Anwendungsbereiche umfassen Agenten, generative KI-Dienste, Echtzeitinteraktionen und groß angelegte API-Aufrufe. Durch die Verlagerung der Rechenressourcen näher an kanadische Kunden und Daten können die Datenübertragungswege für einige Geschäftsbereiche verkürzt und die Netzwerklatenz bei grenzüberschreitenden Aufrufen von US-Rechenknoten reduziert werden.
Die angekündigten 1,7 MW beziehen sich auf die grundlegende Infrastrukturkapazität des Rechenzentrums, während die über 1.000 B300 GPUs den geplanten Bereitstellungsumfang dieses Knotens darstellen. Öffentlich zugängliche Informationen haben weder bestätigt, ob diese GPUs bereits vollständig installiert sind, noch die Anzahl der Serverschränke, die Leistungsdichte pro Schrank oder die phasenweise Inbetriebnahme offengelegt. Daher kann der geplante Umfang nicht direkt mit der derzeit bereits in Betrieb befindlichen Rechenleistung gleichgesetzt werden.
DeepInfra aus den USA besitzt und betreibt seine eigene GPU-Computing-Infrastruktur. Die Plattform unterstützt derzeit über 200 Open-Source-Modelle und verarbeitet wöchentlich fast 5 Billionen Token. Nach der Inbetriebnahme des Toronto-Knotens wird dieser zusammen mit den bestehenden Rechenzentren ein verteiltes Inferenznetzwerk bilden und regionale Rechenressourcen für Unternehmen bereitstellen, die offene Modelle, eigene Modelle und Agentenanwendungen einsetzen. Das Unternehmen gab an, dass sich weitere internationale Rechenzentrumsknoten in der Evaluierungsphase befinden.
Aus funktionaler Sicht liegt der Kern dieses Projekts im Aufbau eines dichten GPU-Clusters und der dazugehörigen Rechenzentrumsumgebung. Der Dauerbetrieb der B300-Server erfordert das Zusammenspiel von Stromversorgung und -verteilung, Kühlung, Netzwerkverbindung und Speichersystemen im Rechenzentrum. Der Projektbetreiber hat jedoch bisher keine Angaben zur Kühlmethode, Netzwerkarchitektur, Speicherkonfiguration oder zum Betriebspartner des Rechenzentrums für den Toronto-Knoten gemacht. Laut Data Center Dynamics aus den USA könnte das Projekt auf die Kapazität eines Drittanbieter-Rechenzentrums zurückgreifen, was jedoch von DeepInfra noch nicht offiziell bestätigt wurde. Daher sollte dies nicht als ein vom Unternehmen eigenständig errichtetes neues Rechenzentrumsgebäude dargestellt werden.
Die Inbetriebnahme dieses Knotens bedeutet, dass sich die Infrastruktur von DeepInfra vom US-Markt auf Kanada ausdehnt. Die nächsten Schwerpunkte werden die Fertigstellung der GPU-Installation, die Erweiterung der tatsächlich verfügbaren Inferenzkapazität und die Anbindung des neuen Knotens an die globale Modellserviceplattform sein. Derzeit bestätigt sind die offizielle Inbetriebnahme der 1,7-MW-Einrichtung und der Plan zur Bereitstellung von über 1.000 B300 GPUs. Der konkrete Anteil der Inbetriebnahme und der Zeitplan für die Geräteinstallation müssen noch vom Unternehmen bekannt gegeben werden.
