Vorsicht! Neue KI-Suchmaschinen machen massenhaft Fehler

Die großen KI-Anbieter versuchen sich inzwischen auch als Alter­na­ti­ve zu klassischen Suchmaschinen - sprich Google - zu posi­tio­nie­ren. Eine Untersuchung zeigte nun allerdings, dass die neuen Sys­te­me dabei eine enorme Fehlerquote produzieren.

Lieber falsch als gar nicht antworten

Am Tow Center for Digital Journalism wurde ein entsprechender Test durchgeführt, der vor allem erhebliche Genauigkeitsprobleme bei der KI-gestützten Nachrichtensuche zeigte. Acht getestete KI-Modelle beantworteten beispielsweise über 60 Prozent der Anfragen zu Nachrichtenquellen fehlerhaft.

Laut den Forscherinnen Klaudia Jawiska und Aisvarya Chandrasekar nutzt inzwischen etwa ein Viertel der Nutzer in den USA KI-Modelle als Alternative zu herkömmlichen Suchmaschinen. Angesichts der Testergebnisse kann dies zu einem echten Problem werden. Auch Fehlerraten variierten dabei stark: Während Perplexity in 37 Prozent der Fälle falsche Informationen lieferte, lag die Fehlerquote bei ChatGPT Search bei 67 Prozent. Besonders schlecht schnitt Grok 3 ab, das fast immer (94 Prozent) inkorrekte Antworten gab. Ergebnisse des Tests Für die Tests sollten die KI-Modelle Titel, Verlag, Veröffentlichungsdatum und URL realer Nachrichtenartikel korrekt identifizieren. Insgesamt führten die Forscher 1600 Anfragen über acht Systeme durch. Ein besorgniserregender Trend zeigte sich dabei: Anstatt keine Antwort zu geben, präsentierten die KI-Modelle lieber plausible, aber falsche oder spekulative Antworten - man bekam es also mit den bekannten Halluzinationen zu tun.

Gratis-Versionen besser

Auffällig war zudem, dass kostenpflichtige Versionen mancher KI-Suchtools teilweise schlechter abschnitten als die kostenlosen Varianten. So gaben Perplexity Pro (20 Dollar monatlich) und die Premium-Version von Grok 3 (40 Dollar monatlich) häufiger fehlerhafte Ergebnisse aus, da sie seltener auf eine Antwort verzichteten.

Die Studie zeigt zudem, dass das Robot Exclusion Protocol von einigen KI-Tools ignoriert wird, mit dem Verlage unerwünschte Webcrawler aussperren. So identifizierte Perplexity korrekt zehn Auszüge aus Paywall-geschützten National-Geographic-Artikeln, obwohl der Verlag der KI den Zugriff untersagt hatte. Zusätzlich verweisen die KI-Modelle oft auf syndizierte Versionen von Artikeln statt auf Originalquellen. Besonders problematisch war die hohe Zahl fehlerhafter URLs: Mehr als die Hälfte der getesteten Links von Googles Gemini und Grok 3 führte zu nicht existierenden Seiten.


Siehe auch: