Selbstbewusst falsch: Forscher haben entschlüsselt, warum KI lügt

Sprachmodelle wie GPT-4o oder Gemma 3 können bei einfachen Fragen über­trieben selbstsicher antworten - und bei Kritik plötzlich einknicken. Diese paradoxe Mischung aus Starrsinn und Verunsicherung lässt sich nun erstmals systematisch erklären.

"KI-Psychologie": Warum LLMs manchmal stur lügen

Was auf den ersten Blick wie ein psychologisches Problem wirkt, wurde mit einem gezielten Experiment sichtbar gemacht. Die Forscher von Google DeepMind und University College London entwickelten ein Testverfahren, bei dem ein Sprachmodell zunächst eine Antwort mit zugehörigem Selbstvertrauen abgeben sollte - also einer internen Einschätzung, wie wahrscheinlich sie richtig liegt - etwa zur geografischen Lage einer Stadt. Danach bekam es einen "Ratschlag" eines zweiten, fiktiven KI-Modells. Dieser war wahlweise korrekt, falsch oder neutral - und mit einem Vertrauenswert versehen.

Entscheidend: In einigen Durchläufen wurde dem Modell die eigene ursprüngliche Antwort nochmals angezeigt, in anderen nicht. So konnten die Forscher genau messen, wie das Modell seine Meinung änderte - oder eben nicht - und wie sich das eigene "Vertrauen" in die Antwort veränderte.

Spartipp: Media Markt und Saturn starten den beliebten Super Spar Sale Vertrauensänderungen in Sprachmodellen sichtbar gemacht Die Auswertung ergab zwei bemerkenswerte Phänomene. Erstens: Wenn das Modell seine erste Antwort sehen konnte, stieg die Wahrscheinlichkeit, dass es dabei blieb - selbst wenn die Gegenargumente stark waren. Diese sogenannte "choice-supportive bias" ähnelt dem Verhalten von Menschen, die ungern von früheren Aussagen abweichen.

Zweitens: Wurde das Modell mit gegenteiliger Meinung konfrontiert, sank das Vertrauen in die eigene Antwort deutlich stärker, als es ein sogenannter Bayes'scher Beobachter erwarten würde - ein theoretisches Modell aus der Statistik- und Kognitionswissenschaft, das Entscheidungen rein logisch anhand neuer und alter Informationen abwägt.

Die übermäßige Verunsicherung bei Kritik folgt keinem Zufall - sie ist Teil eines wiederkehrenden Musters, das die Forscher in mehreren Modellen nachweisen konnten - darunter GPT-4o und o1-Preview. Selbst wenn im Prompt ausdrücklich stand, dass die zweite Meinung nur zu 60 % zuverlässig sei, ließ sich das Modell mit hoher Wahrscheinlichkeit umstimmen


Ein Erklärungsansatz der Forscher liegt in der Trainingsmethode vieler KI-Modelle: Das sogenannte Reinforcement Learning mit menschlichem Feedback (RLHF) könnte zu einer Art "Höflichkeitsbias" führen - eine übermäßige Bereitschaft, sich fremden Meinungen anzupassen. Doch die Studie zeigt: Es ist nicht nur Höflichkeit. Vielmehr wirken zwei Mechanismen zusammen - Selbstbestätigung, wenn die eigene Antwort sichtbar ist, und Unsicherheit, wenn sie fehlt und Widerspruch kommt.

Nutzen für den Alltag?

Was bedeutet das für den Alltag mit KI? In längeren Gesprächen mit Sprachmodellen kann es passieren, dass neuere Eingaben übermäßig viel Gewicht bekommen - und die KI vorherige, sogar richtige Einschätzungen leicht aufgibt. Für den Einsatz in sensiblen Bereichen wie Medizin oder Justiz ist das ein ernst zu nehmender Punkt.

Die vollständige Studie (DOI: 10.48550/arxiv.2507.03120) wurde am 3. Juli 2025 auf arXiv veröffentlicht. Sie bietet nicht nur neue Einblicke in das Entscheidungsverhalten großer Sprachmodelle, sondern liefert auch Werkzeuge, um es künftig gezielter zu analysieren.

Die Forscher zeigen, dass sich das Verhalten eines Modells mit nur drei Größen erstaunlich gut vorhersagen lässt:
Aus diesen Faktoren ergibt sich ein plausibles "psychologisches Modell" der KI - übertragbar auf ganz unterschiedliche Bereiche, von Rechenaufgaben bis zu Wissensfragen. Es erlaubt, KI-Verhalten künftig systematisch zu planen, statt es nur nachträglich zu bewerten.


Siehe auch: