de.wedoany.com-Bericht: Am 13. Juli hat das chinesische Unternehmen SenseTime Technology offiziell das einheitliche visuelle Großmodell SenseNova-Vision zur Verständnis- und Generierung veröffentlicht und der Öffentlichkeit zugänglich gemacht. Es bietet einheitliche Modellfähigkeiten für Aufgaben wie Objekterkennung, optische Zeichenerkennung, Bildsegmentierung, Tiefenvorhersage, Oberflächennormalenschätzung, Multi-View-Geometrie und Kameraposenschätzung. Anders als der bisherige technische Ansatz, bei dem für verschiedene visuelle Aufgaben separate Modelle, Vorhersageköpfe und Decoder konfiguriert wurden, wandelt SenseNova-Vision mehrere Arten von Computer-Vision-Aufgaben in Probleme der Textgenerierung, Bildgenerierung oder gemischten Text-Bild-Generierung um, sodass visuelle Wahrnehmungsfähigkeiten direkt in das Ein- und Ausgabesystem allgemeiner multimodaler Modelle integriert werden können.
Die diesmalige Veröffentlichung umfasst nicht nur die Modellgewichte. SenseTime hat das Modell SenseNova-Vision-7B-MoT, den Inferenzcode, den technischen Bericht sowie das visuelle Korpus SenseNova-Vision-Corpus-50M veröffentlicht und bietet Zugang zu Einzelbild-Inferenz, interaktiver Inferenz, Web-Demos und Benchmark-Evaluierungen. Offizielle Projektaufzeichnungen zeigen, dass die oben genannten Modelle, Datensätze, Inferenzcodes und technischen Berichte ab dem 8. Juli sukzessive online gestellt wurden und die vollständigen Veröffentlichungsinformationen am 13. Juli bekannt gegeben wurden.
Traditionelle Computer-Vision-Systeme bauen in der Regel für jede Aufgabe eine unabhängige technische Kette auf. Die Objekterkennung erfordert die Ausgabe von Kategorien und Begrenzungsrahmen, die Bildsegmentierung die Erzeugung von Pixel-Masken, die Tiefenvorhersage die Berechnung des räumlichen Abstands für jedes Pixel, und die 3D-Rekonstruktion muss Multi-View-Bilder, Punktwolken und Kameraparameter verarbeiten. Diese Aufgaben erforderten bisher oft unterschiedliche Modellstrukturen, Trainingsziele, spezielle Vorhersagemodule und Datenverarbeitungsmethoden. SenseNova-Vision versucht, diese Fragmentierung der Modelle zwischen den Aufgaben zu beseitigen, indem es nicht mehr separate spezialisierte Architekturzweige für Erkennung, Segmentierung, Tiefenschätzung oder geometrische Vorhersage hinzufügt, sondern ein einziges Modell die Aufgabenart, den Zielbereich, die Beobachtungsperspektive und die Ausgaberegeln anhand von Anweisungen in natürlicher Sprache erkennen lässt.
Nach der Vereinheitlichung werden die verschiedenen visuellen Ergebnisse weiterhin in einer für ihre Eigenschaften geeigneten Ausdrucksform dargestellt. Strukturierte Informationen wie Objektkategorien, Begrenzungsrahmen, Koordinatenpunkte, Texterkennungsergebnisse, menschliche Schlüsselpunkte und Kameraparameter können vom Modell direkt als Textaufzeichnungen generiert werden; Pixel-basierte Ergebnisse wie Segmentierungsmasken, Tiefenkarten, Oberflächennormalenkarten und Multi-View-3D-Punktwolken werden in Bildform generiert. Für kombinierte Aufgaben, die sowohl die Angabe der Objektkategorie als auch die Ausgabe des entsprechenden Segmentierungsbereichs erfordern, kann das Modell gleichzeitig Text und Bilder generieren, sodass dieselbe Schnittstelle strukturiertes visuelles Verständnis, dichte geometrische Vorhersage, Bildsegmentierung und Multi-View-Visual-Geometrie abdeckt.
Anweisungen in natürlicher Sprache werden zu einem wichtigen Zugang, der verschiedene visuelle Aufgaben verbindet. Entwickler können die zu erkennende Objektkategorie, Farbe, Region, Perspektive und das Ausgabeformat per Textbeschreibung angeben, oder visuelle Hinweise hinzufügen, um das zu verarbeitende Objekt zu spezifizieren. Das Modell generiert dann gemäß den Vorgaben analysierbare Ergebnisse. Dieser Ansatz macht visuelle Aufgaben nicht mehr vollständig von festen Kategorielisten und vorgegebenen Evaluierungsformaten abhängig. Beispielsweise können Benutzer durch Sprache Kategorien, Farben und lokale Bereichsbedingungen kombinieren, um flexiblere visuelle Verarbeitungsanforderungen zu stellen als bei herkömmlichen festen Aufgaben.
Um diese einheitliche Trainingsweise zu unterstützen, hat SenseTime das Korpus SenseNova-Vision-Corpus-50M aufgebaut. Dieses Korpus wandelt die ursprünglich über Aufgaben wie Erkennung, Texterkennung, Schlüsselpunktlokalisierung, Bildsegmentierung, Tiefenschätzung und Multi-View-Geometrie verstreuten visuellen Annotationen in eine einheitliche Probenstruktur aus „visuellem Input, Anweisung in natürlicher Sprache, dekodierbarer Antwort" um, wobei die Antwortformate Text, Bilder und gemischte Text-Bild-Inhalte abdecken. Der Trainingsprozess verwendet hauptsächlich dieses visuelle Korpus, ergänzt durch unterstützende multimodale Daten, um den Verlust an allgemeinem Verständnis und Bildgenerierungsfähigkeiten des Modells während der Stärkung der visuellen Fähigkeiten zu reduzieren.
Gemessen am Umfang der veröffentlichten Aufgaben deckt SenseNova-Vision derzeit vier Hauptkategorien visueller Fähigkeiten ab. Strukturiertes visuelles Verständnis umfasst Objekterkennung, referentielle Lokalisierung, Texterkennung, Lokalisierung von UI-Elementen und Schlüsselpunktvorhersage; dichte geometrische Vorhersage umfasst monokulare Tiefenschätzung und Oberflächennormalenvorhersage; der Segmentierungsteil umfasst allgemeine Segmentierung, referentielle Segmentierung, Inferenzsegmentierung, interaktive Segmentierung und Segmentierungsaufgaben mit semantischer Beschreibung; Multi-View-Visual-Geometrie umfasst die 3D-Punktwolken-Rekonstruktion und die Kameraposenschätzung. Offizielle Benchmark-Ergebnisse zeigen, dass ein einzelnes Modell in verschiedenen Ausgabeformaten und visuellen Aufgaben mit einigen spezialisierten Modellen und allgemeinen visuellen Modellen konkurrieren kann, die Leistung jedoch nicht über alle Aufgaben hinweg einheitlich ist.
Nach der Veröffentlichung des Modells können Entwickler über den offiziellen Code voreingestellte Beispiele ausführen oder einzelne Inferenzen durch Angabe der Aufgabenart, Textaufforderungen und Eingabebilder durchführen. Die offizielle Seite bietet auch ein lokales Web-Demo-Schema basierend auf Gradio an. Für eine vollständige Demonstration wird die Verwendung einer GPU mit 80 GB Speicher empfohlen; für die Durchführung aller Benchmark-Evaluierungen wird offiziell mindestens ein Server mit 8 GPUs mit je 80 GB Speicher empfohlen. Dies zeigt, dass SenseNova-Vision zwar bereits einen vollständigen Inferenzzugang bietet, aber für die aufgabenübergreifende Bereitstellung und Evaluierung weiterhin hohe Rechenressourcen erforderlich sind.
Die Open-Source-Lizenz hat ebenfalls klare Grenzen. Die Modellgewichte von SenseNova-Vision verwenden die Lizenz CC BY-NC 4.0, die hauptsächlich für nicht-kommerzielle Zwecke gedacht ist; die Datensatzseite ist mit derselben Lizenz gekennzeichnet; der Quellcode im offiziellen GitHub-Repository sollte gemäß der im Code-Repository aufgeführten Lizenz separat verwendet werden. Daher bedeutet diese „umfassende Open-Source-Veröffentlichung" hauptsächlich, dass das Modell, das Trainingskorpus, der Inferenzcode, der technische Bericht und die Evaluierungsmethode der Forschungsgemeinschaft zugänglich gemacht wurden, was nicht bedeutet, dass alle Inhalte uneingeschränkt direkt in kommerziellen Produkten verwendet werden können.
SenseTime hat in der Modellbeschreibung auch die derzeitigen Einschränkungen aufgeführt. Das einheitliche Modell bedeutet nicht, dass es in jeder einzelnen professionellen Aufgabe spezialisierte Systeme übertrifft; einige spezialisierte Modelle könnten in bestimmten Benchmarks weiterhin Vorteile behalten; die Textausgabe erfordert noch die Konfiguration von Analyseprogrammen je nach Aufgabe, und die Bildergebnisse müssen gemäß dem Trainingsprotokoll dekodiert werden. Ergebnisse wie Tiefe, Oberflächennormale, 3D-Punktwolken und Kameraposen müssen vor dem Einsatz in Robotik, autonomen Fahren, industrieller Inspektion oder anderen sicherheitskritischen Szenarien noch durch unabhängige Systeme verifiziert werden; die Modellergebnisse können nicht direkt als endgültige Steuerungsgrundlage verwendet werden.
Die wichtigste technische Änderung, die SenseNova-Vision diesmal vollzogen hat, besteht darin, die bisher verstreuten klassischen visuellen Aufgaben als Generierungsaufgaben zu reorganisieren, die von allgemeinen multimodalen Modellen verarbeitet werden können. Erkennung, Segmentierung, Tiefenvorhersage und 3D-Geometrie entsprechen nicht mehr jeweils einem isolierten System, sondern teilen sich den Raum für Anweisungen in natürlicher Sprache, visuellen Input und Text-Bild-Generierung. Dies bietet einen neuen Implementierungsweg für die weitere Integration von visueller Wahrnehmung, Sprachverständnis, Bildgenerierung und räumlichem Denken in ein einziges Basismodell.
