Spektrum ist eine der wichtigsten Informationsdimensionen des Lichts und wird als „Lichtgen“ und „Lichtfingerabdruck“ bezeichnet. Hyperspektrale Bildgebung kann gleichzeitig multidimensionale Spektralinformationen des Ziels erfassen und ist eine Kernwahrnehmungstechnologie in Bereichen wie Weltraum-Fernerkundung, intelligentem Fahren, Umweltüberwachung und Präzisionsmedizin. Das Team um Akademiker Zhang Jun der Beijing Institute of Technology hat international erstmals das originäre Konzept der spektral spezialisierten Berechnung vorgeschlagen, eine völlig neue Architektur der On-Chip-Spektralberechnung geschaffen und das Problem der Online-Echtzeit-Analyse hyperspektraler Bildgebung gelöst. Die entsprechenden Forschungsergebnisse wurden am 28. August in der internationalen Fachzeitschrift „Science“ veröffentlicht.
Hyperspektrale Bildgebung erzeugt enorme Datenmengen, doch das traditionelle Modell – Rohdaten vor Ort zu erfassen, an einen Backend-Server zu übertragen und erst später zu analysieren – behindert die Anwendung der Hyperspektraltechnologie an dynamischen, komplexen Einsatzorten erheblich. Daher besteht dringender Bedarf, dass Wahrnehmungsterminals die Spektralrekonstruktion, Stoffidentifikation und Informationsauswertung direkt vor Ort durchführen, um „Wahrnehmung gleich Analyse, Erfassung gleich Entscheidung“ zu erreichen.
Das Team löste sich von der Pfadabhängigkeit allgemeiner CPU/GPU-Systeme und der klassischen Von-Neumann-Zeitteilungs-Architektur und schlug innovativ eine parallele Berechnungsmethode im Datenbereich vor. Der vollständige Spektralberechnungsgraph wird direkt auf den physischen Raum der Chip-Hardware abgebildet, wodurch ein kontinuierlicher Datenstromkanal aus verteilten Hardware-Operatoren entsteht. Dadurch wird die Leerlaufwartezeit der Rechenhardware vollständig eliminiert und der Sprung der hyperspektralen Bildgebung von „Offline-Nachbearbeitung“ zu „On-Chip-In-situ-Echtzeitberechnung“ vollzogen, was einen völlig neuen technologischen Weg für die nächste Generation integrierter, eingebetteter hyperspektraler Bildgebungssysteme eröffnet.
Gestützt auf diese originäre Architektur schloss das Team den vollständigen Engineering-Kreislauf von theoretischer Erforschung über Chip-Entwicklung bis hin zur Gerätefertigung ab und überwand nacheinander eine Reihe von Schlüsseltechnologien wie Hardware-Beschleunigung für hochdichte Datenströme, Herstellung spektral spezialisierter Berechnungschips und leichtgewichtige KI-Spektralrekonstruktionsnetzwerke. So wurde das weltweit erste integrierte Online-Echtzeit-Hyperspektral-Bildgebungs-Mikrosystem – HyperVision – in Eigenentwicklung realisiert.
Das HyperVision-Gesamtsystem wiegt nur etwa 950 Gramm und hat eine Leistungsaufnahme von nur 25,3 Watt – eine Größenordnung weniger als herkömmliche GPU-Lösungen. Es integriert einen selbst entwickelten spektral spezialisierten Berechnungschip und einen Breitband-Spektralbildsensor, kombiniert mit einem Hochleistungsakku und einem HD-Display. Es bietet Vorteile wie kompakte Bauweise, geringes Gewicht, niedrigen Stromverbrauch, lange Akkulaufzeit und hohe Intelligenz. Ohne externe Stromversorgung und ohne Abhängigkeit von externen Rechenclustern liefert es im sichtbaren bis nahen Infrarot-Breitbandbereich stabile Video-Echtzeit-Hyperspektralbilder.
Das Team hat das System bereits in realen dynamischen Szenarien wie intelligentem Fahren, Rauchüberwachung und Luft-Boden-Bildgebung mit Drohnen umfassend verifiziert. Gutachter bewerteten die Ergebnisse als „tiefgreifende Optimierung der Systemarchitektur“, „bedeutenden technologischen Fortschritt“ und bescheinigten eine „seltene technische Reife“.
Im Jahr 2024 überwand das Team um Zhang Jun die Herausforderungen der On-Chip-Optikkodierung und veröffentlichte eine Arbeit in „Nature“. Mit den aktuellen Ergebnissen wurde nun auch das Rechenengpassproblem gelöst. HyperVision schließt die gesamte Kette der Hyperspektral-Bildgebungstechnologie – von der Labortheorie über leichtgewichtige tragbare Ausrüstung bis hin zu Echtzeit-Online-Wahrnehmungsanwendungen – und eröffnet völlig neue Möglichkeiten für strategisch aufstrebende Bereiche und neue industrielle Sektoren wie Weltraum-Fernerkundung, intelligentes Fahren, intelligente Landwirtschaft und Präzisionsmedizin.