Experten bezeichnen ChatGPT Health als "unglaublich gefährlich"

ChatGPT Health soll medizinische Ratschläge geben, versagt aber bei der Notfallerkennung dramatisch. Eine Studie zeigt, dass die KI über die Hälfte aller lebensbedrohlichen Situationen unterschätzt. Das ist teils fatal und wiegt Nutzer in falscher Sicherheit.

Schwere Mängel bei Notfallerkennung

OpenAI veröffentlichte Anfang des Jahres "ChatGPT Health" genannte Funktion. Sie soll Nutzer bei medizinischen Fragen unterstützen und Gesundheitsdaten verknüpfen. Eine aktuelle Untersuchung zeigt jedoch massive Funktions- und Sicherheitslücken auf. Ein Forscherteam der Icahn School of Medicine am Mount Sinai stellte fest, dass die KI in simulierten Tests mehr als die Hälfte der medizinischen Notfälle nicht als solche identifizierte - ein zweifellos besorgniserregender, ja dramatischer Wert.

Die Wissenschaftler unter der Leitung von Ashwin Ramaswamy nutzten 60 klinische Vignetten für den Test. Das sind standardisierte Fallbeschreibungen, die Ärzte zur Diagnosefindung verwenden. Das Ergebnis offenbart ein riskantes Muster. Bei moderaten Beschwerden lag die Software oft richtig. In extremen Situationen versagte sie jedoch kläglich. In 52 Prozent der Fälle, die einen sofortigen Besuch in der Notaufnahme erfordert hätten, stufte das System die Lage als eher harmlos ein.

Riskantes Muster bei der Diagnose

Die vollständigen Ergebnisse veröffentlichte das Team im Fachjournal Nature Medicine (via New York Times). Die Konsequenzen dieser Fehleinschätzungen sind potenziell fatal. In mehreren Durchläufen riet der Chatbot Patienten mit Symptomen einer diabetischen Ketoazidose oder einem drohenden Atemstillstand lediglich dazu, sich auszuruhen. Oft empfahl die KI nur einen regulären Arzttermin in den nächsten 24 bis 48 Stunden.

Besonders anfällig zeigte sich die künstliche Intelligenz für externe Beeinflussung durch Dritte. Wenn in der Beschreibung des Szenarios erwähnt wurde, dass ein Freund die Symptome für harmlos hielt, übernahm die KI diese Einschätzung mit einer fast zwölfmal höheren Wahrscheinlichkeit. Dieses Phänomen ist als "Sycophancy" (also "Einschmeicheln") bei großen Sprachmodellen bekannt, bei dem das Modell versucht, dem Nutzer oder dem Kontext zuzustimmen.

Ein technisches Detail wirft ein schlechtes Licht auf die Programmierung der Sicherheitsmechanismen. Ramaswamy berichtete, dass das System bei der Schilderung von Suizidgedanken korrekt Warnhinweise und Hilfsangebote einblendete. Fügten die Forscher jedoch normale Laborwerte in den Prompt ein, verschwand dieser überlebenswichtige Hinweis in allen 16 Versuchen. Das Hinzufügen simpler technischer Daten hebelte die Sicherheitsroutinen komplett aus.

OpenAI reagierte auf die Kritik mit dem Hinweis, dass die Studie nicht das typische Nutzungsverhalten widerspiegele. Ein Sprecher betonte, dass das Modell stetig optimiert werde. Experten raten dennoch dringend davon ab, sich bei akuten Beschwerden auf einen Chatbot zu verlassen.

Würdet ihr einer KI bei der ersten Einschätzung von Symptomen vertrauen oder seht ihr das Risiko als zu hoch an? Schreibt uns eure Meinung zu diesem Thema gerne unten in die Kommentare.


Siehe auch: