OpenAI und andere Forschende warnen vor beschleunigter Automatisierung der KI-Forschung

de.wedoany.com-Bericht: Am 28. September veröffentlichte das Programm für KI-Wissenschaft und -Politik der Universität Cambridge den Forschungsbericht „Was geschieht, wenn die Automatisierung der KI-Forschung eine ‚Intelligenzexplosion' auslöst?". Mehr als 20 KI-Forschende wirkten an dem Bericht mit, darunter OpenAI-Chefwissenschaftler Jakub Pachocki, Anthropic-Mitgründer Jack Clark, Microsoft-Chefwissenschaftler Eric Horvitz sowie Dawn Song, die mit der KI-Forschung von Meta in Verbindung steht; auch Geoffrey Hinton und Yoshua Bengio stehen auf der Autorenliste. Die Forschenden der betreffenden Unternehmen beteiligten sich jeweils in persönlicher Eigenschaft.

Der Bericht verwendet den Grad der Automatisierung der KI-Forschung als zentralen Beobachtungsindikator. Unter Berufung auf interne Daten von Anthropic heißt es in der Studie, dass der Anteil des von KI generierten Codes am genehmigten Code des Unternehmens zwischen Januar 2025 und Mai 2026 von einem niedrigen einstelligen Wert auf über 80% gestiegen sei; zwischen März und August 2026 sei der Anteil der von KI erledigten Forschungs- und Entwicklungsarbeiten, die nur geringer menschlicher Aufsicht bedürfen, von etwa 1% auf 26% gestiegen. Auf dieser Grundlage wird in dem Bericht die These aufgestellt, dass KI-Systeme in den kommenden Jahren einen Großteil der KI-Forschungs- und Entwicklungsprozesse übernehmen könnten und sich die Automatisierung einiger Forschungsaufgaben weiter beschleunigen dürfte.

Der Bericht erörtert ein rekursives Forschungs- und Entwicklungsszenario: KI-Systeme wirken an Modellforschung, Software-Engineering, Experimenten und Evaluierung mit und nutzen die Ergebnisse der Forschung und Entwicklung wiederum zur Entwicklung leistungsfähigerer KI-Systeme der nächsten Generation. Sollte sich dieser Kreislauf weiter beschleunigen, bezeichnen die Autoren das daraus resultierende schnelle Wachstum der Fähigkeiten als „Intelligenzexplosion", definiert als die Verdichtung von KI-Fähigkeitsfortschritten, die ursprünglich Jahre dauern würden, auf Monate oder sogar kürzere Zeiträume. Der Bericht stellt zugleich ausdrücklich fest, dass dieses Szenario weiterhin mit erheblicher Unsicherheit behaftet ist: Die Versorgung mit Rechenleistung und Daten, abnehmende Grenzerträge der Modellfähigkeiten, schwer automatisierbare Forschungsaufgaben sowie lange Modelltrainingszyklen könnten das Ausmaß der Beschleunigung der Forschung und Entwicklung begrenzen.

Zu den im Bericht aufgeführten politischen Empfehlungen gehören die Einrichtung eines standardisierten Berichtsmechanismus zum Grad der Automatisierung der KI-Forschung, um die Transparenz der Regierung hinsichtlich des Automatisierungsniveaus der Forschungs- und Entwicklungsprozesse führender KI-Unternehmen zu erhöhen; die Untersuchung technischer und institutioneller Mechanismen zur Kontrolle der Forschungsgeschwindigkeit in Phasen rapiden Fähigkeitswachstums; die Entwicklung von Notfallmaßnahmen für schnelles Fähigkeitswachstum sowie die Prüfung multinationaler Koordinationsmechanismen. Die Autoren regen zudem an, dass die entsprechende politische Vorbereitung Szenarien abdecken sollte, in denen die Wachstumsgeschwindigkeit der KI-Fähigkeiten die Anpassungsgeschwindigkeit der Gesellschaft übersteigt, die Fähigkeit des Menschen zur Aufsicht über hochautonome KI-Systeme abnimmt und fortgeschrittene KI-Fähigkeiten sich stark konzentrieren.