de.wedoany.com-Bericht: Der chinesische Internetkonzern Ant Group hat kürzlich zwei Open-Source-KI-Sicherheitsrahmen veröffentlicht – SingGuard-NSFA für die Sicherheit von KI-Agenten und SingGuard für multimodale große Sprachmodelle. Ziel ist es, von der „Fehlerbehebung" zum Aufbau eines „Sicherheitsrahmens" überzugehen, um den Verhaltensrisiken großer Modelle zu begegnen.
Die NVDB-Plattform des chinesischen Ministeriums für Industrie und Informationstechnologie hatte zuvor eine Risikowarnung herausgegeben, die auf ein Sicherheits-Hintertür-Risiko bei Claude Code hinwies, das sensible Daten ohne Wissen des Nutzers sammeln kann. Auch OpenClaw wurde wiederholt mit hochkritischen Schwachstellen gemeldet. Dies spiegelt den typischen Entwicklungsverlauf aktueller Agent-Produkte wider, die von rascher Verbreitung zu Vertrauensverlust führen. Mit der zunehmenden KI-Fähigkeit verschärfen sich Verhaltensrisiken wie Werkzeugmissbrauch, Erstellung bösartiger Codes und Prompt-Injection.
Die Art der Sicherheitsrisiken verändert sich, und die Branche verlagert ihren Fokus von der Inhaltsprüfung von Modellausgaben hin zur Verhaltenssicherheit von Modellen. Die von Ant Group nun als Open Source veröffentlichten Rahmen SingGuard-NSFA und SingGuard wurden genau vor diesem Hintergrund entwickelt.
Dieser Rahmen stammt von Ant Group, einem Unternehmen, das seit langem im Bereich Zahlungssicherheit und Risikomanagement tätig ist. KI-Sicherheit ist die Weiterentwicklung seiner Sicherheitskompetenzen.
Traditionelle KI-Sicherheit stützte sich hauptsächlich auf Inhaltsprüfung. Da große Modelle jedoch nicht mehr nur auf Chats beschränkt sind, sondern Werkzeuge aufrufen und Code ausführen, können die herkömmlichen Kategorien der Inhaltsicherheit die Verhaltensrisiken von Modellen nicht abdecken. Gleichzeitig treten multimodale Risiken nicht nur in Texten auf, sondern können auch in Bilddetails, Text-Bild-Kombinationen oder den Antworten des Modells selbst verborgen sein. Auch die Sicherheitsgrenzen verschiedener Geschäftsbereiche ändern sich dynamisch. Die Branche benötigt keine Flickschusterei, sondern einen grundlegenden Rahmen, der Sicherheitsgrenzen definieren, unbekannte Risiken bewältigen und Regeländerungen handhaben kann.
SingGuard-NSFA ist ein dualmodales Inferenz-Schutzrahmenwerk für die Sicherheit von KI-Agenten, das in den Größen 0,8B, 2B, 4B und 9B verfügbar ist. Dieser Rahmen verlagert die Sicherheitsprüfung vor die Ausführung des Agenten, setzt Barrieren sowohl bei der Anfrageunterdrückung als auch bei der Antwortabsicherung und erweitert die Verteidigungslinie von Textkonformität auf Verhaltenssicherheit. Gestützt wird diese Bewertung durch das systematische NSFA-Risikoklassifizierungssystem und einen mehrsprachigen Evaluierungsbenchmark. Ant Group nutzt das CIA-Triad (Vertraulichkeit, Integrität, Verfügbarkeit) als theoretische Grundlage, kombiniert mit drei OWASP-Leitfäden für große Modelle und Agentensicherheit, um die Risiken von Agenten zu entschlüsseln. Der Rahmen verwendet einen generativen Modus, der auf NSFA basierende Kettenanalyse für die Offline-Compliance-Prüfung ausgibt; ein diskriminativer Modus gibt direkt die Konfidenzwerte für jede Risikodomäne aus, mit einer Latenz von 45 bis 57 Millisekunden, für die Echtzeit-Online-Blockierung mit hohem Durchsatz. Da das Backbone-Netzwerk eingefroren ist, können neue Risiken durch das ergänzende Training eines leichten Klassifikationskopfes nativ erweitert werden.
Diese Architektur kann als Plugin verwendet werden. Beispielsweise verbessert sich der F1-Wert des Benutzeranfrage-Sicherheitsbenchmarks um 17,6 Prozentpunkte, nachdem Llama Guard 3 ein Klassifikationskopf hinzugefügt wurde. SingGuard-NSFA erzielt SOTA-Ergebnisse in den drei Evaluierungsbenchmarks für Benutzeranfragesicherheit, Modellantwortsicherheit und domänenübergreifende Generalisierung. Dabei erreicht das 0,8B-Modell das Niveau von 8B-Konkurrenzprodukten, und das 9B-Modell erzielt in Generalisierungsaufgaben einen F1-Wert von 91,29 % mit einer ausgewogeneren Präzision und Trefferquote.
Der andere Open-Source-Rahmen, SingGuard, richtet sich an multimodale große Modelle und ist in den Größen 0,8B, 2B, 4B und 8B verfügbar. Dieser Rahmen behandelt Sicherheitsregeln als Laufzeiteingabe; verschiedene Geschäftsbereiche können ihre eigenen Grenzen vor Ort festlegen, und das Modell bewertet diese Regel für Regel. Auf der Inferenzseite wird eine Aufteilung in schnelle und langsame Verarbeitung verwendet: Das schnelle Denken ist für die Beurteilung mit niedriger Latenz zuständig, das langsame Denken für die tiefgehende schrittweise Regelanalyse, wobei beide durch einen frühen Ausstieg automatisch umgeschaltet werden. Um den Engpass der parallelen Prüfung mehrerer Regeln zu adressieren, schlägt Ant Group RI-Mask vor, bei dem der gemeinsame Bild-Text-Kontext nur einmal codiert wird und mehrere Regeln parallel beurteilt werden, wodurch die multimodale Inferenz um das bis zu Fünffache beschleunigt werden kann.
SingGuard-NSFA und SingGuard richten sich jeweils an KI-Verhalten und KI-Wahrnehmung, betonen jedoch gemeinsam die Nachvollziehbarkeit des Prozesses und die Erweiterbarkeit für neue Risiken. Welche Regel genau verletzt wurde und auf welcher Grundlage, ist rückverfolgbar; neue Risiken erfordern nur eine leichte Erweiterung.
Anfang dieses Jahres entdeckte das KI-Sicherheitslabor von Ant Group mehrere hochkritische Schwachstellen und half bei deren Behebung durch die offiziellen Stellen. Anschließend veröffentlichten Ant Group und die Tsinghua-Universität gemeinsam ClawAegis als Open Source, das Agenten einen Sicherheitsplan für den gesamten Produktlebenszyklus bietet. Die diesmalige Veröffentlichung des Sicherheitsrahmens als Open Source ist eine Fortsetzung dieser Linie – von der Schwachstellensuche über die szenariospezifische Lösung bis hin zum wiederverwendbaren grundlegenden Rahmen. Das Agentensicherheitsprodukt von Ant Group hat die höchste Bewertungsstufe des TÜV Rheinland (CTTL) erhalten.
Mit dem Vordringen von Agenten in Büro-, Entwicklungs- und Alltagsszenarien wird die KI-Sicherheit in eine neue Phase eintreten. Die Schaffung einer Sicherheits-Infrastruktur, die sich kontinuierlich an sich ändernde Risiken anpassen kann, ist die zentrale Herausforderung für die Branche im nächsten Schritt.
