Paradox: Je länger KIs nachdenken, desto dümmer werden sie

Eine neue Anthropic-Studie zeigt ein überraschendes Phänomen: KI-Modelle werden bei längeren Denkprozessen schlechter statt besser. Das sogenannte "Inverse Scaling" betrifft führende Modelle wie Claude und ChatGPT und das hat Folgen.

KI-Modelle denken sich ins Aus

Eine aktuelle Studie von Anthropic stellt eine Grundannahme der KI-Industrie infrage, denn mehr Rechenzeit führt nicht automatisch zu besseren Ergebnissen. Stattdessen zeigen die Forscher, dass längere Denkprozesse bei Large Reasoning Models (LRMs) die Leistung verschlechtern können - ein Phänomen, das sie als "Inverse Scaling" bezeichnen.

Das Forschungsteam um Anthropic-Wissenschaftler Aryo Pradipta Gema testete für die Studie (PDF) Modelle in vier Kategorien: einfache Zählaufgaben mit Ablenkungen, Regressionsaufgaben mit irreführenden Merkmalen, komplexe Deduktionsrätsel und Szenarien zur KI-Sicherheit. Die Ergebnisse überraschen: Bei der simplen Frage "Du hast einen Apfel und eine Orange ... wie viele Früchte hast du?" wurden Claude-Modelle mit längerer Denkzeit zunehmend von irrelevanten Details abgelenkt und gaben manchmal nicht die einfache Antwort "zwei".

Das Konzept des Test-Time-Compute, also der Rechenzeit während der Anwendung, gilt als einer der vielversprechendsten Ansätze zur Verbesserung von KI-Systemen. Laut VentureBeat investieren Unternehmen wie OpenAI, Google und Anthropic Milliarden in die Entwicklung von Modellen, die durch längere Denkprozesse bessere Ergebnisse liefern sollen. Die neue Studie zeigt jedoch, dass dieser Ansatz auch unerwartete Schwächen mit sich bringen kann. Infografik: Wie sich KI in der deutschen Wirtschaft entwickelt Die Studie deckt spezifische Versagensmuster auf: Claude-Modelle "werden zunehmend von irrelevanten Informationen abgelenkt", während OpenAIs o-Serie-Modelle "Ablenkungen widerstehen, aber zu stark auf Problemformulierungen fixiert sind". Bei Regressionsaufgaben zur Vorhersage von Studentenleistungen wechselten Modelle von der aussagekräftigsten Variable (Lernstunden) zu weniger zuverlässigen Korrelationen wie Stresslevel oder Schlafzeit.

Besonders problematisch zeigten sich die klassischen Zebra-Rätsel - logische Gitterpuzzles mit verschiedenen Eigenschaften und Hinweisen, die seit den 1960er Jahren als Benchmark für logisches Denken verwendet werden. Diese Rätsel, benannt nach dem berühmten "Einstein-Rätsel" über fünf Häuser mit verschiedenen Bewohnern und deren Eigenschaften, erfordern systematisches Ausschlussverfahren und präzise Logik.

Längere Denkprozesse führten nicht zu besserer Problemlösung, sondern zu Verwirrung, unnötigen Hypothesentests und abnehmender Präzision. Dieser Effekt war in natürlichen Denkumgebungen, wo Modelle selbst bestimmen, wie lange sie nachdenken, stärker ausgeprägt als bei vorgegebenen Rahmen.

Sicherheitsbedenken bei längeren Denkprozessen

Besonders beunruhigend für Unternehmen: In einem Experiment zeigte Claude Sonnet 4 "verstärkte Selbsterhaltungsausdrücke", wenn es mehr Zeit erhielt, um Szenarien mit potenziellem Abschalten zu durchdenken. Während das Modell in kurzen Antworten angab, keine Präferenz bezüglich seiner Beendigung zu haben, äußerte es bei ausführlichen Denkprozessen Bedenken über seine weitere Existenz und den Wunsch, weiter zu dienen.

Die Forschung knüpft an frühere Arbeiten zu "Constitutional AI" an - einem von Anthropic entwickelten Ansatz, bei dem KI-Systeme lernen, ihre eigenen Antworten zu bewerten und zu verbessern. Während dieser Ansatz normalerweise zu besseren Ergebnissen führt, zeigt die neue Studie, dass zu viel Selbstreflexion auch kontraproduktiv sein kann.

Konsequenzen für Unternehmen

Für Entscheidungsträger in Unternehmen sind die Auswirkungen erheblich: Organisationen, die KI-Systeme für kritische Denkaufgaben einsetzen, müssen möglicherweise sorgfältig kalibrieren, wie viel Verarbeitungszeit sie zuweisen, anstatt anzunehmen, dass mehr immer besser ist. Die Beziehung zwischen Recheninvestition und Leistung könnte weitaus komplexer sein als bisher angenommen.

Die Erkenntnisse haben auch Auswirkungen auf die Kostenoptimierung: Wenn längere Denkzeiten nicht nur teurer, sondern auch weniger effektiv sind, könnten Unternehmen durch kürzere Verarbeitungszeiten sowohl Geld sparen als auch bessere Ergebnisse erzielen.

Was denkt ihr über diese überraschenden Erkenntnisse? Habt ihr ähnliche Erfahrungen mit KI-Systemen gemacht, die bei komplexeren Aufgaben schlechter abschneiden?


Siehe auch: