de.wedoany.com-Bericht: Ein Forschungsteam der Pennsylvania State University (Penn State) hat kürzlich eine Studie zur Zuverlässigkeit medizinischer Antworten großer Sprachmodelle veröffentlicht. Die Studie zeigt, dass Künstliche Intelligenz-Chatbots bei der Beantwortung alltäglicher gesundheitsbezogener Fragen von Laien eine Gesamtgenauigkeit von etwa 76,2 % erreichen. Dieses Ergebnis rückt die Zuverlässigkeitsgrenzen von KI in medizinischen Beratungen, im Kundenservice und in risikoreichen Frage-Antwort-Szenarien erneut in den Fokus.
Die Studie konzentrierte sich auf Gesundheitsfragen, die typische Internetnutzer stellen könnten, und nicht nur auf medizinische Prüfungsdatenbanken oder von Experten vorgegebene Fälle. Das Forschungsteam organisierte an der Penn State einen KI-Frage-Antwort-Wettbewerb namens „Diagnose-a-thon“. 34 Teilnehmer reichten zu realen oder hypothetischen Gesundheitsfragen 212 Prompts und KI-generierte Antworten ein, wobei Modelle wie ChatGPT-4o, ChatGPT-3.5, Gemini-1.5 Pro und Llama3-8b verwendet wurden. Anschließend bewerteten neun zertifizierte Ärzte die Genauigkeit und das potenzielle Schadensrisiko dieser Antworten. Die Ergebnisse zeigten, dass etwa 76,2 % der KI-generierten Antworten als korrekt eingestuft wurden, die Fehlerquote jedoch bei über 20 % lag. In einem Bereich mit geringer Fehlertoleranz wie der Medizin kann dieser Anteil die Einschätzung der Nutzer zur Vertrauenswürdigkeit des Systems beeinflussen.
Die Studie ergab zudem deutliche Unterschiede in der Leistung je nach medizinischem Fachgebiet. In Bereichen wie Gynäkologie und Geburtshilfe sowie Hals-Nasen-Ohren-Heilkunde waren die KI-Antworten effektiver und wiesen ein geringeres potenzielles Schadensrisiko auf. In der Inneren Medizin, Neurologie und Dermatologie hingegen fiel die Leistung schwächer aus, mit geringerer Effektivität und höherem potenziellem Risiko. Auch die Qualität der Prompts beeinflusste die Ergebnisse; spezifischere Fragen und solche mit einer Länge zwischen 60 und 250 Zeichen führten häufiger zu genaueren Ausgaben.
Diese Ergebnisse haben direkte Implikationen für medizinische KI- und Kundendienstsysteme. Wenn Gesundheits-Chatbots direkt mit Patienten interagieren, neigen Nutzer dazu, die Antworten als Diagnoseempfehlung oder Handlungsgrundlage zu betrachten, während den Modellen möglicherweise die Fähigkeit zur körperlichen Untersuchung, zur Erhebung der Krankengeschichte, zur Analyse von Labor- und Bilddaten sowie zur klinischen Risikostratifizierung fehlt. Für Krankenhäuser, Versicherungen, Apothekenplattformen und digitale Gesundheitsunternehmen eignet sich KI besser für Aufgaben wie die erste Informationsaufbereitung, die Zusammenfassung von Anamnesematerialien vor der Konsultation, die Erklärung häufiger Fragen und die unterstützende Recherche für Ärzte. Die endgültige Beurteilung, Bestätigung und Kommunikation sollte jedoch von ausgebildeten Ärzten übernommen werden. Insbesondere in Bereichen wie der Neurologie und Dermatologie, die stark von Fachwissen und klinischer Beobachtung abhängen, sollten KI-Antworten in den Arbeitsablauf der Ärzte integriert werden und nicht als endgültige Grundlage für die Selbstdiagnose durch Patienten dienen.
Das Team der Penn State ist der Ansicht, dass KI menschliche Ärzte nicht einfach ersetzen wird, aber die Möglichkeit bietet, deren Fähigkeiten bei der Informationsverarbeitung, der Vermittlung medizinischen Wissens und der Patientenbetreuung zu verbessern. Die Studie soll vom 25. bis 28. Juni auf der ACM Conference on Fairness, Accountability, and Transparency 2026 in Montreal, Kanada, vorgestellt werden. Da Chatbots zunehmend in medizinischen, finanziellen, behördlichen und unternehmerischen Kundendienstsystemen eingesetzt werden, werden Genauigkeit, Risikohinweise, Mechanismen zur Einbeziehung von Fachpersonal und Verantwortungsgrenzen zu entscheidenden Faktoren für die skalierbare Einführung von KI-Kundendienstlösungen.
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
