Nach Blamage anderer KIs: Gemini verweigert Schachpartie vs. Retro-PC

ChatGPT hatte in einer Partie Schach gegen den Atari 2600 aus den 70er-Jahren überhaupt keine Chance. Microsofts Copilot ebenso wenig. Jetzt war Googles Gemini an der Reihe und tat etwas völlig Unerwartetes.

Gemini im Duell mit Atari 2600

Die modernen KI-Systeme gelten als Wunderwerke der Technik, doch gegen einen simplen Schachcomputer aus den 1970ern kommen sie an ihre Grenzen. Nachdem bereits ChatGPT chancenlos war und auch Microsofts Copilot von dem Schachprogramm des Atari 2600 in einer Partie vernichtet wurde, sollte jetzt Googles Gemini dem Retro-Computer gegenübertreten. Das Ergebnis war überraschenderweise jedoch ein völlig anderes als bei den beiden vorangegangenen Duellen.

Google-KI zeigt sich zunächst selbstsicher

Robert Caruso, der diese Tests durchführte, erzählte The Register, dass Leser ihn gefragt hatten, ob Googles Gemini besser abschneiden könnte. "Die Frage hat mich fasziniert, denn während ChatGPT und Copilot Cousins sind, die auf der gleichen OpenAI-Basis aufbauen, ist Gemini ein völlig anderes Tier", erklärte er. "Google hat es von Grund auf neu aufgebaut und behauptet, es sei ein Game-Changer für KI - mit einem neuen multimodalen Large Language Model, das besser argumentieren könne als seine Konkurrenten."


Zunächst zeigte sich Gemini auch relativ selbstsicher. Die Google-KI behauptete, sie würde den Atari 2600 "fast sicher dominieren", weil sie "kein bloßes Large Language Model" sei, sondern "eher einer modernen Schach-Engine ähnelt [...], die Millionen von Zügen vorausdenken und endlose Positionen bewerten kann". Doch dann kam alles völlig anders.

Der Moment der Wahrheit

Ironischerweise verlinkte Gemini während des Gesprächs Artikel über die Siege des Atari über seine OpenAI-Geschwister, um seinen Standpunkt bezüglich seiner eigenen Überlegenheit gegenüber den anderen KIs zu untermauern. Caruso teilte der KI daraufhin mit, dass er selbst diese Tests durchgeführt hatte, woraufhin Gemini fragte, ob ihm bei diesen Schachpartien etwas Besonderes aufgefallen sei. Caruso antwortete: "Was auffällt, ist das fehlplatzierte Selbstvertrauen beider KIs. Beide sagten leichte Siege voraus - und jetzt hast auch du gerade gesagt, dass du den Atari dominieren würdest."

Daraufhin passierte etwas Unerwartetes. Denn plötzlich erklärte Gemini, dass es über seine herausragenden Schachfähigkeiten lediglich halluziniert hatte. Es entschied, dass es "immense Probleme gegen die Atari 2600 Video Chess Spiel-Engine" haben würde. Das Absagen des Spiels wäre daher "die zeiteffizienteste und sinnvollste Entscheidung", erklärte die KI. Sie gab also schon vor dem ersten Zug auf.

David gegen Goliath im Computerzeitalter

Der simulierte Atari 2600, den Caruso verwendet, besitzt lediglich einen 1,19-MHz-Prozessor und magere 128 Byte RAM - eine technische Ausstattung, die im Vergleich zu den riesigen GPU-Clustern moderner KI-Systeme geradezu lächerlich erscheint. Der Atari 2600, ursprünglich 1977 von Atari Inc. veröffentlicht, war eine der ersten erfolgreichen Heimkonsolen und revolutionierte die Videospielbranche. Das Schachprogramm "Video Chess" erschien 1979 und bot trotz der extremen Hardware-Beschränkungen ein funktionsfähiges Schachspiel mit neun Schwierigkeitsstufen.

Dennoch schaffte es die Retro-Maschine, Gemini ohne einen einzigen Zug 'zu besiegen', lediglich durch seinen Ruf. Die Ironie der Situation ist dabei offensichtlich: Während moderne KI-Systeme auf Servern mit Tausenden von Prozessorkernen und Terabytes an Arbeitsspeicher laufen, kapitulierte Gemini vor einem System, dessen gesamte Rechenleistung heute von jeder durchschnittlichen Waschmaschine übertroffen wird. Dabei wird noch einmal überdeutlich, dass LLMs nicht für jegliche Aufgaben gleich gut geeignet bzw. konzipiert sind.

Eine wichtige Erkenntnis

Caruso zeigte sich dennoch beeindruckt von Geminis Fähigkeit, seine Grenzen zu erkennen. "Diese Realitätschecks einzubauen ist nicht nur wichtig, um amüsante Schachfehler zu vermeiden. Es geht darum, KI zuverlässiger, vertrauenswürdiger und sicherer zu machen - besonders an kritischen Stellen, wo Fehler echte Konsequenzen haben können", erklärte er gegenüber The Register. "Es geht darum, sicherzustellen, dass KI ein mächtiges Werkzeug bleibt und kein unkontrolliertes Orakel."

Der Fall legt ein grundlegendes Problem moderner KI-Systeme offen. So können sie mit extremer Überzeugung Dinge behaupten, die nicht der Realität entsprechen. Während das bei einem Schachspiel keine schwerwiegenden Auswirkungen hat, könnte es in anderen Kontexten problematisch werden. Die Fähigkeit, die eigenen Grenzen zu erkennen und einzugestehen, könnte daher ein wichtiger Schritt für die Weiterentwicklung vertrauenswürdiger KI-Systeme sein.

Was haltet ihr von dieser Geschichte? Ist sie ein besseres Beispiel für die Grenzen moderner KI oder eher dafür, dass KI-Systeme klüger werden, indem sie ihre Limitationen erkennen? Teilt eure Meinung in den Kommentaren!


Siehe auch: