Wissenschaftlerin erfindet Krankheit, KI übernimmt diese umgehend

Ein Experiment mit der fiktiven Augenkrankheit Bixonimanie deckt massive Schwächen von KI-Systemen wie ChatGPT auf. Obwohl die medizinischen Studien offensichtlich frei erfunden waren, übernahmen Chatbots das Fake-Leiden als realen Fakt.

KI erfindet Symptome für Fake-Krankheit

Die schwedische Medizinforscherin Almira Osmanovic Thunström von der Universität Göteborg hat ein ungewöhnliches Experiment gestartet. Sie erfand die fiktive Augenkrankheit Bixonimanie, um zu prüfen, ob große Sprachmodelle ungeprüft medizinische Falschinformationen übernehmen. Dafür veröffentlichte sie zwei Studien unter dem Namen eines fiktiven Autors auf einer Preprint-Plattform im Internet.

Obwohl die Texte offensichtliche Warnhinweise enthielten, nahmen bekannte Chatbots das erfundene Leiden als Fakt auf. Die Studien nannten ausdrücklich absurde Geldgeber wie die Professor Sideshow Bob Foundation oder Forschungseinrichtungen auf der USS Enterprise. Zudem stand im Text wörtlich, dass die gesamte Arbeit frei erfunden sei. Dennoch begannen Systeme wie ChatGPT, Gemini und Copilot kurz nach der Veröffentlichung, Nutzer vor den Gefahren von Bixonimanie zu warnen.


Wie das Fachmagazin Nature in einem Bericht verdeutlicht, gaben die Sprachmodelle detaillierte Ratschläge. Sie behaupteten etwa, die Krankheit entstehe durch übermäßiges Blaulicht von Bildschirmen und führe zu dunklen Ringen um die Augen. Ein Chatbot gab sogar an, dass einer von 90.000 Menschen betroffen sei. Er riet den vermeintlich Betroffenen umgehend zur Konsultation in einer Augenarztpraxis, um weitere Schäden zu vermeiden.

Gefahr durch falsche Zitate

Der Einsatz von Künstlicher Intelligenz im Gesundheitswesen bietet Vorteile wie eine ständige Verfügbarkeit von Informationen für Patienten. Gleichzeitig zeigt das Experiment der schwedischen Forscherin gravierende Nachteile auf. Die Sprachmodelle verstehen die medizinische Wissenschaft nicht, sondern erkennen lediglich Muster in Texten. Wirken die Dokumente professionell formatiert, neigen die Systeme stark zum Halluzinieren von Fakten.

Besonders problematisch ist, dass die Falschinformationen auch menschliche Wissenschaftler täuschten. Einige Forscher zitierten die erfundene Studie zu Bixonimanie in ihren eigenen, von Fachkollegen geprüften Arbeiten. Die Verlage mussten die entsprechenden Publikationen im Anschluss zurückziehen. Das zeigt deutlich, dass sich Entwickler und Anwender nicht blind auf generierte Referenzen der Künstlichen Intelligenz verlassen dürfen.

Auch aktuellere Tests offenbaren Schwächen bei der Erkennung der fiktiven Krankheit durch moderne Sprachmodelle. Die Antworten der Chatbots fallen je nach Plattform extrem unterschiedlich aus. Während sie Bixonimanie teilweise als Erfindung entlarven, bezeichnen sie das Leiden in anderen Fällen weiterhin als neuartigen medizinischen Begriff. Medizinische Experten fordern daher verbesserte Prüfmechanismen in den Systemen.

Nutzt ihr Chatbots für medizinische Fragen oder vertraut ihr lieber ärztlichem Fachpersonal? Teilt eure Erfahrungen und Meinungen gerne mit uns in den Kommentaren!


Siehe auch: