de.wedoany.com-Bericht: Dem Unternehmen PrismML ist es gelungen, das von Alibaba als Open Source veröffentlichte große Sprachmodell Qwen 3.6 mit 27 Milliarden Parametern auf das iPhone 17 Pro zu portieren. Laut dem IT-Nachrichtendienst The Information ist das Modell in der Lage, komplexe Chat-Antworten zu generieren, Reasoning-Aufgaben durchzuführen und als vollständig autonomer Coding-Agent zu agieren. Ab kommendem Dienstag wird das Modell der Öffentlichkeit zur Nutzung zur Verfügung stehen.

PrismML ist ein Spin-off des California Institute of Technology (Caltech). Der Unternehmensleiter Baba Hassibi ist gleichzeitig Professor für Elektrotechnik am Caltech. Das Unternehmen gibt an, Qwen 3.6 mithilfe „mathematischer Tricks“ komprimiert zu haben, wobei die Technologie über herkömmliche Quantisierungsmethoden hinausgeht. Angeblich eliminiert diese Technik die üblichen Qualitätsverluste und reduziert Qwen 3.6 von 54 GB auf 4 GB. Die entsprechenden Patente werden vom California Institute of Technology gehalten.

PrismML prognostiziert, dass innerhalb von etwa drei Jahren bis zu 95 % der benötigten KI-Rechenleistung lokal auf Smartphones, Laptops oder sogar Haushaltsgeräten erbracht wird. Unternehmensleiter Baba Hassibi ist der Ansicht, dass zu diesem Zeitpunkt nur noch 5 % der anspruchsvollen Anforderungen in die Cloud gehen werden, und erklärte: „Ich glaube, das ist die Richtung, die die Leute sehen.“ Für das Training werden Rechenzentren auf absehbare Zeit weiterhin notwendig sein. Bemerkenswert ist, dass Apple für AFM Core Advanced eine Technologie eingeführt hat, die das RAM-Problem bei großen Sprachmodellen mit 20 Milliarden Parametern durch die Nutzung von Flash-Speicher löst, indem nur die tatsächlich benötigten Teile geladen werden. Apple sucht derzeit nach übernahmefähigen KI-Unternehmen in diesem Bereich. Laut The Information hat Apple bereits erste Gespräche über die Nutzung dieser Technologie geführt.