Wie die synchrone Erfassung und Tokenisierung visueller Informationen effizient und mit geringem Stromverbrauch realisiert werden kann, ist eine der zentralen Herausforderungen, die im Bereich der physischen Künstlichen Intelligenz (KI)-Hardware dringend gelöst werden müssen. Kürzlich hat ein Team unter der Leitung von Professor Miao Feng und Professor Liang Shijun von der Universität Nanjing gemeinsam mit einem Team der Nationalen Universität Singapur weltweit erstmals einen neuartigen intelligenten Vision-Sensor-Chip mit extrem geringem Stromverbrauch entwickelt, der Licht direkt in Tokens umwandeln kann – den „Guangyu-Chip". Die vom Chip erzeugten Tokens können direkt in einen Encoder eingespeist werden, um Bilderkennung zu ermöglichen. Die entsprechenden Forschungsergebnisse wurden am 19. des Monats online in der internationalen Fachzeitschrift Nature Sensing veröffentlicht.
Die Fähigkeit physischer KI zur autonomen Wahrnehmung, Schlussfolgerung und Entscheidungsfindung in komplexen Umgebungen hängt in hohem Maße von der Fähigkeit von Edge-Geräten ab, visuelle Großmodelle effizient auszuführen. Aufgrund von Beschränkungen bei Stromverbrauch und Rechenleistung sind Edge-Geräte jedoch kaum in der Lage, eine Echtzeit-Visualerkennung lokal durchzuführen.
„In der herkömmlichen visuellen Wahrnehmungskette muss das Lichtsignal mehrere Verarbeitungsschritte durchlaufen – von der Erfassung durch den Bildsensor über die Analog-Digital-Umwandlung, das Zwischenspeichern und Verschieben von Daten bis hin zur digitalen Aufteilung und Einbettung – bevor daraus Tokens erzeugt werden können, die das Modell verarbeiten kann. Der häufige Transfer großer Mengen redundanter Daten führt zu einem anhaltend hohen Energieverbrauch an der Edge", erläutert Miao Feng. „Wir wollen die Tokenisierung direkt im Sensor durchführen und diesen Pfad auf physikalischer Ebene umgehen."
In dieser Studie schlug das Team weltweit erstmals vor, den Prozess der Tokenerzeugung in den Sensor vorzuverlagern und die Funktionen Bildaufnahme, Bildaufteilung und Bildblock-Einbettung direkt im Sensor zu realisieren.
Liang Shijun erklärte, dass der von dem Team entwickelte „Guangyu-Chip" aus einem lichtempfindlichen Speicher-Array und einer peripheren Adressierschaltung besteht. Zunächst baute das Team auf Basis von Fototransistoren mit schwimmendem Gate aus einschichtigem Molybdändisulfid ein lichtempfindliches Speicher-Array auf. Jedes Pixel im Array vereint die drei Funktionen Lichtempfindlichkeit, Speicherung und analoge Berechnung. Nach dem Einschreiben des Lichtsignals wird es in Form von Ladungen am schwimmenden Gate in situ gespeichert. Die periphere Adressierschaltung kann Pixelbereiche selektiv aktivieren, um die Bildaufteilung durchzuführen. Für die ausgewählten Bildblöcke legt der Chip anschließend eine spezifische Spannungssequenz an, sodass die im Bildblock gespeicherten Lichtinformationen und die Einbettungsmatrix im analogen Bereich eine Multiplikations-Addition-Operation durchführen; der ausgegebene Strom entspricht dem Token.
„Wir haben auf dem Chip eine physikalische Berechnung realisiert, bei der ‚Licht hinein, Tokens direkt hinaus' erfolgt, und damit die Datenübertragung – die größte Energiequelle – grundlegend eliminiert", so Liang Shijun. Diese Methode der „physikalischen Tokenisierung" verwandelt den Chip von einem passiven Bildrekorder in einen aktiven Generator visueller Semantik. Die Erkennungsgenauigkeit des auf dem „Guangyu-Chip" basierenden visuellen Transformationsarchitektur-Systems erreicht 87,3 % und liegt damit nahe an der Erkennungsbasislinie herkömmlicher Software; im Vergleich zu herkömmlichen Ansätzen ist die Energieeffizienz in der Tokenisierungsphase um mehr als das Zehnfache verbessert.
Miao Feng erklärte, dass dieses Ergebnis das serielle Paradigma „erst Licht erfassen, dann zwischenspeichern, dann berechnen" grundlegend revolutioniert und eine völlig neue Dimension zur Überwindung der Grenzen von Rechenleistung und Stromverbrauch der Edge-KI im Post-Moore-Zeitalter eröffnet. Die Technologie verspricht, für Bereiche wie verkörperte Intelligenz, niedrig fliegende Drohnen und intelligente Sicherheit eine hocheffiziente, nahezu latenzfreie Basis für visuelle Kognition bereitzustellen und die großflächige Anwendung physischer KI zu beschleunigen.