Apple-Team entlarvt KI-Illusion:
scheinbare Intelligenz nur Täuschung

Sind KI-Systeme wirklich intelligent oder nur geschickte Imitatoren? Eine neue Studie von Apple-Forschern stellt die Fähigkeit von Sprachmodellen zum logischen und ma­the­ma­ti­schen Denken infrage. Mit einem ein­fa­chen Trick las­sen sich Chat­GPT und Co. leicht verwirren.

Apple entlarvt KI-Mängel: Keine Logik, kein Verstand

Apple-Wissenschaftler um Iman Mirzadeh haben die Leistung von großen Sprachmodellen (LLMs) wie ChatGPT unter die Lupe genommen. Sie entwickelten einen verbesserten Benchmark namens GSM-Symbolic, um die Grenzen dieser KI-Systeme aufzuzeigen. Die Forscher stellten den Modellen Hunderte von Fragen, die zuvor zur Bewertung von LLMs verwendet wurden und von den Systemen eigentlich einfach zu lösen sein sollten.

Der Trick, der alle KI-Systeme ins Stolpern brachte: Die Forscher fügten irrelevante Informationen hinzu oder änderten nur die Zahlenwerte in einer Frage. Die zusätzlichen, nicht relevanten Daten führten dazu, dass die LLMs falsche oder sogar unsinnige Antworten auf Fragen gaben, die sie zuvor korrekt beantwortet hatten.


Ein besonders auffälliges Ergebnis war, dass das Hinzufügen eines einzigen, scheinbar relevanten Satzteils zu einer Frage die Leistung aller getesteten Modelle um bis zu 65% einbrechen ließ. Dies geschah, obwohl der zusätzliche Satzteil für die Lösung der Aufgabe nicht notwendig war.

Die Studie zeigte auch, dass die Leistung der KI-Systeme erheblich nachlässt, wenn die Anzahl der Satzteile in einer Frage zunimmt. Dies deutet darauf hin, dass kritische Stimmen mit ihren Annahmen bisher noch recht behalten: KI-Systeme verstehen die gestellten Fragen nicht wirklich, sondern antworten lediglich auf Basis gelernter Muster.

Die Forscher veröffentlichten ihre Ergebnisse auf dem Preprint-Server arXiv unter dem Titel "GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models". Sie interpretieren ihre Erkenntnisse als Beweis dafür, dass LLMs nicht zu echtem logischen und mathematischen Denken fähig sind.

Diese Studie wirft wichtige Fragen zur tatsächlichen Fähigkeit von KI-Systemen auf, nuancierte Informationen zu verarbeiten. Die Forscher schließen: Es scheint, dass die scheinbar intelligenten Antworten größtenteils eine Illusion sind. LLMs sind demnach hervorragend darin, Antworten zu geben, die korrekt erscheinen, aber bei genauerer Betrachtung falsch sind.

Die Erkenntnisse von Apple liefern wichtige Einblicke in die tatsächlichen Fähigkeiten und Grenzen von KI-Systemen im Bereich des mathematischen und logischen Denkens. Sie unterstreichen die Notwendigkeit, die Leistung von LLMs kritisch zu hinterfragen und weiter an der Verbesserung ihrer echten Verständnis- und Denkfähigkeiten zu arbeiten.


Siehe auch: