Der Informatiker James Zou von der Stanford University hat kürzlich untersucht, wie große Sprachmodelle im wissenschaftlichen Peer-Review eingesetzt werden können, um den Forschungsprozess zu beschleunigen. Dieses Thema hat in der wissenschaftlichen Gemeinschaft Diskussionen ausgelöst, da die Rolle der KI mit der technologischen Entwicklung zunehmend an Bedeutung gewinnt.
In einem groß angelegten, randomisierten Experiment, veröffentlicht in „Nature Machine Intelligence“, bot Zous Team menschlichen Gutachtern KI-Unterstützung an. Das Experiment umfasste etwa 20.000 Gutachten, um deren Einfluss auf die Qualität der Begutachtung zu bewerten. Zou half außerdem bei der Organisation der „Science Agent“-Konferenz, einer experimentellen Plattform zur Erforschung der Doppelrolle der KI als wissenschaftlicher Autor und Gutachter. Zou betont: „Der Wert der KI liegt darin, Fehler oder Lücken in Forschung, Daten und Analysen aufzudecken, aber sie hat Grenzen bei menschlichen Aufgaben wie der Beurteilung der relativen Bedeutung einer Forschung.“
Das Interesse an KI, insbesondere an Sprachmodellen, zur Unterstützung von Forschung und Peer-Review ist deutlich gestiegen. KI kann als schneller, stets verfügbarer Kritiker in einem Vorab-Begutachtungsprozess vor der offiziellen Einreichung dienen, um Schwachstellen und Grenzen in Entwürfen zu identifizieren. Dies kann die Qualität der Erstfassung verbessern und spätere Überarbeitungen reduzieren. Mit steigender Anzahl an Einreichungen nimmt die Belastung der menschlichen Gutachter zu, was zu einer Verschlechterung der Gutachtenqualität und Frustration bei Autoren führen kann.
Bereiche, in denen KI bei der Begutachtung gut abschneidet, sind objektive, überprüfbare Inhalte, wie z. B. die Erkennung von Nichtübereinstimmungen bei Zahlen oder Gleichungen. Zou erklärt: „KI ist stark bei objektiven, überprüfbaren Inkonsistenzen und technischen Problemen, aber schwächer bei subjektiven Urteilen über Neuheit oder Bedeutung einer Forschung.“ KI sollte menschliche Entscheidungen unterstützen, nicht vollständig ersetzen. Menschliche Teams müssen die endgültigen redaktionellen Entscheidungen treffen, und Wissenschaftler tragen die Verantwortung für ihre Arbeit.
Auf der „Science Agent“-Konferenz wurden KI-Einreichungen und -Gutachten öffentlich gemacht, um einen Korpus für die wissenschaftliche Gemeinschaft zu schaffen. Ein Nobelpreisträger für Wirtschaftswissenschaften bewertete unabhängig eine KI-gestützte Arbeit und schrieb im Gutachten: „Das ist technisch gesehen wirklich sehr gut gemacht.“ Wissenschaftler müssen klar angeben, inwieweit KI an Forschung, Verfassung und Begutachtung beteiligt war, um Verantwortung und klare Verantwortlichkeitsketten sicherzustellen.
Das Interesse an KI zur Verbesserung des Peer-Reviews wächst weiter. Ein Experiment auf der International Conference on Learning Representations zeigte, dass KI-Feedback die Qualität und Beteiligung an Gutachten verbesserte. Die „Science Agent“-Konferenz erhielt über 300 KI-gestützte Einreichungen aus 28 Ländern. Viele Konferenzen und Zeitschriften erkunden den Einsatz großer Sprachmodelle zur Unterstützung des Gutachterwesens. Zou sagt: „KI hilft beim Schreiben von Code und wird für Vorab-Begutachtungen genutzt, um Schwachstellen zu identifizieren und Verbesserungsvorschläge zu machen.“
In Zukunft werden weitere KI-Agenten-Konferenzen stattfinden, um Evidenz und Normen zu etablieren und so die Nutzung von KI in der Wissenschaft zu gestalten. Da KI zu einem routinemäßigen wissenschaftlichen Mitarbeiter wird, muss die wissenschaftliche Gemeinschaft die Rollenverteilung zwischen Maschine und Mensch verfeinern, um eine nützliche und vertrauenswürdige Beziehung sicherzustellen. Die Rolle der KI in der Wissenschaft wird voraussichtlich wachsen, und die wissenschaftliche Gemeinschaft sollte zusammenarbeiten, um diese Zukunft zu gestalten.
Veröffentlichungsdetails: Autor: Andrew Myers, Stanford University; Titel: „Exploring AI's growing role in scientific peer review“; veröffentlicht in: „Nature Machine Intelligence“ (2026).
