de.wedoany.com-Bericht: Kürzlich veranstaltete die Chinesische Akademie für Informations- und Kommunikationstechnologie (CAICT) während des globalen Gipfels „AI for Good“ in Genf, Schweiz, ein Seminar zur Bewertung und Standardisierung großer KI-Modelle. Bilel Jamoussi, stellvertretender Direktor des Telekommunikations-Standardisierungssektors der Internationalen Fernmeldeunion (ITU), und Yu Xiaohui, Präsident der CAICT, nahmen teil und hielten Reden. Ziel des Seminars war es, die im Global Digital Compact der Vereinten Nationen enthaltenen Empfehlungen zur Überbrückung der neuen digitalen Kluft im Bereich der KI-Bewertung weiter umzusetzen.
Bilel Jamoussi wies in seiner Rede darauf hin, dass internationale Standards zunehmend eine wichtige Stütze für die KI-Governance und vertrauenswürdige Anwendungen darstellen. Die ITU habe bereits internationale Standards für die Benchmark-Bewertung großer Modelle veröffentlicht und treibe die Standardisierung multimodaler großer Modelle kontinuierlich voran. Die auf diesem Seminar veröffentlichte gemeinsame Initiative ziele darauf ab, die bereichs- und institutionsübergreifende Zusammenarbeit bei Bewertungsindikatoren, -methoden und -standards zu fördern und so eine sichere, inklusive und dem Gemeinwohl dienende Entwicklung der künstlichen Intelligenz zu unterstützen.
Yu Xiaohui, Präsident der CAICT, betonte, dass das Bewertungssystem für große Modelle die Wertentscheidungen der Menschheit hinsichtlich der Entwicklungsrichtung der künstlichen Intelligenz widerspiegele. Die Festlegung von Bewertungsdimensionen und -methoden werde die Richtung des technologischen Fortschritts und der praktischen Anwendung tiefgreifend beeinflussen und sei eine wichtige Grundlage für die Förderung einer vertrauenswürdigen KI-Entwicklung unter Berücksichtigung sozialer Gerechtigkeit und nachhaltiger Entwicklung. Er erklärte, dass der Schlüssel zur Förderung der internationalen Zusammenarbeit bei der Bewertung in der Schaffung eines globalen Konsenses liege. Es gelte, sowohl die technischen Bewertungsansätze zu koordinieren als auch gemeinsam eine wertorientierte Ausrichtung hin zu Sicherheit, Vertrauenswürdigkeit, Kontrollierbarkeit und Gemeinwohl zu etablieren.
Wang Jian, Akademiemitglied der Chinesischen Akademie der Ingenieurwissenschaften, Gründer von Alibaba Cloud und Direktor des Zhejiang Lab, wies in seiner Grundsatzrede darauf hin, dass große Modelle als hochkomplexe Systeme selbst für ihre Entwickler schwer in ihren Fähigkeiten vollständig zu erfassen seien, was eine enorme Herausforderung für die Bewertungsarbeit darstelle. Er betonte, dass die derzeitige Bewertung hauptsächlich die Systemfunktionen teste. Zukünftig könne man sich an der Idee von IQ-Tests für Menschen orientieren, um eine konsistente Methodik zur Messung maschineller Intelligenz zu entwickeln. Der Sinn der Bewertung liege nicht nur in der Benotung und Rangfolge, sondern vor allem darin, die Technologie selbst zu verstehen und voranzubringen.
Lin Yonghua, Vizepräsidentin und Chefingenieurin des Beijing Institute of Artificial Intelligence (BAAI), Gilles Thonet, stellvertretender Generalsekretär der Internationalen Elektrotechnischen Kommission (IEC), Nicolas Miailhe, Mitbegründer von AI Safety Connect, sowie Experten von Korabench.ai, Amazon Web Services, Future Ethics Lab, dem Electronics and Telecommunications Research Institute (ETRI) Südkoreas, Huawei, ZTE und anderen Institutionen tauschten Praxiserfahrungen aus und führten vertiefte Diskussionen zu Themen wie wissenschaftlichen Basismodellen, Red-Team-Tests, Messung von KI-Verhalten, Standardinteroperabilität und internationaler gegenseitiger Anerkennung. Die Teilnehmer einigten sich auf vier Kernpunkte: Erstens, vertrauenswürdige KI basiert auf Verifikation, nicht auf Behauptungen; Bewertung ist die grundlegende Fähigkeit, KI dem Gemeinwohl dienlich zu machen. Zweitens, die Grenzen statischer Benchmarks werden zunehmend deutlich; Bewertungen sollten dynamisch, kontinuierlich und über den gesamten Lebenszyklus hinweg erfolgen. Drittens, der Bewertungsumfang sollte sich von Modellen auf Anwendungen ausdehnen und sowohl langfristige Risiken als auch unmittelbare Auswirkungen berücksichtigen. Viertens, die gemeinsame Nutzung von Methoden und die gegenseitige Anerkennung von Ergebnissen sollten verstärkt werden, um Standards und Bewertungen zu einer globalen öffentlichen Infrastruktur zu machen, sodass die Früchte der Bewertungsarbeit mehr Ländern und Bevölkerungsgruppen zugutekommen.
Wei Kai, Direktor des Instituts für Künstliche Intelligenz der CAICT, stellte in seinem Themenbericht mit dem Titel „Bewertung großer Modelle: Praxis und Standardisierung“ das „Fangsheng“-Bewertungssystem für große Modelle vor. Wei Kai wies darauf hin, dass die Bewertung großer Modelle eine dreifache Rolle spiele: als „Kompass“ für technologische Innovation, als „Verbindungsstück“ zwischen Technologie und Anwendung sowie als „Sicherheitsventil“ für eine dem Gemeinwohl dienende KI-Entwicklung. Zukünftig werde sich die Leistungsbewertung stärker auf die Verifikation komplexer Aufgaben konzentrieren, die Sicherheits- und Vertrauenswürdigkeitsbewertung werde sich auf die Identifizierung systemischer Risiken ausdehnen, und die Bewertung der technischen Effizienz werde die Synergie von Kosten und Effizienz verstärken. Das „Fangsheng“-System stütze sich maßgeblich auf ITU-T F.748.44 und decke mehrere Dimensionen ab, darunter Fähigkeiten, Anwendungen, Sicherheit und Vertrauenswürdigkeit sowie zukunftsweisende Intelligenz. Bis Juli 2026 habe das System über 1.500 Bewertungen durchgeführt, einen Testdatensatz mit 8,5 Millionen Einträgen aufgebaut und durch dynamische Tests das Risiko von Datenkontamination und Benchmark-Manipulation reduziert.
Die CAICT veröffentlichte auf dem Seminar die „Internationale Initiative zum gemeinsamen Aufbau eines Bewertungssystems für große Modelle und zur Förderung einer dem Gemeinwohl dienenden Entwicklung“. Diese Initiative umfasst zehn Schwerpunkte: das Verständnis des Werts der Bewertung, die Förderung von Bewertungsinnovationen, die Vervollständigung des Bewertungsrahmens, die Stärkung der Datenbasis, die Befähigung industrieller Anwendungen, die Förderung offener Zusammenarbeit, die Gewährleistung von Bewertungstransparenz, die Wahrung der Bewertungsintegrität, die Förderung von Standardinteroperabilität und die Unterstützung einer dem Gemeinwohl dienenden KI. Die Initiative lädt internationale Organisationen, Forschungseinrichtungen, Unternehmen und alle gesellschaftlichen Kreise ein, Datensätze und Bewertungsmethoden zu teilen und gemeinsam eine Open-Source-Bewertungsgemeinschaft aufzubauen, um die digitale Kluft zu verringern.
In Zukunft wird die CAICT die Zusammenarbeit mit internationalen Organisationen wie der ITU, IEC und ISO sowie mit der globalen Industrie, Wissenschaft und Open-Source-Community weiter vertiefen, Bewertungsmethoden, Datensätze und praktische Erfahrungen offen teilen und ein offenes, inklusives und interoperables Ökosystem für die KI-Bewertung fördern, um mit chinesischer Praxis zur dem Gemeinwohl dienenden Entwicklung der künstlichen Intelligenz beizutragen.
