KIs können vieles, scheitern aber beim simplen Lesen einer Uhr

KIs beeindrucken immer wieder mit komplexen Aufgaben, scheitern aber oft an Alltäglichem. Eine neue Studie zeigt nun: Selbst fortschrittliche Systeme haben Schwierigkeiten beim Lesen analoger Uhren und dem Interpretieren von Kalendern.

KI vs. Zeitmessung: Eine unerwartete Herausforderung

KIs revolutionieren zahlreiche Bereiche unseres Lebens und oftmals sind es komplex Aufgaben, bei denen künstliche Intelligenzen besonders gut sind. Doch ausgerechnet bei scheinbar simplen Aufgaben stoßen selbst fortschrittliche KI-Systeme an ihre Grenzen. Dazu zählen das Lesen analoger Uhren und das Verstehen von Kalendern.

Sieben bekannte multimodale große Sprachmodelle (MLLMs), darunter GPT-4 von OpenAI, Gemini 2.0 von Google DeepMind und Claude 3.5 Sonnet von Anthropic, wurden in einer aktuellen Studie auf ihre Fähigkeiten getestet, Text und Bilder zu verarbeiten und zu interpretieren. Die Ergebnisse sind überraschend: Selbst die leistungsfähigsten KI-Modelle konnten die Zeit auf analogen Uhren in weniger als 25 Prozent der Fälle korrekt ablesen.

Studie deckt KI-Schwächen auf

Eine Studie der University of Edinburgh (via Gizmodo) hat diese unerwartete Schwäche der KI-Systeme aufgedeckt. Besonders schwer taten sich die Modelle mit römischen Ziffern und stilisierten Zeigern. Die Leistung verbesserte sich auch dann nicht, wenn der Sekundenzeiger fehlte. Dies deutet auf grundlegende Probleme bei der Erkennung von Zeigern und der Interpretation von Winkeln hin.

Auch Kalenderaufgaben stellten für die KI-Systeme eine Herausforderung dar. Selbst das beste Modell lag bei Datumsberechnungen in 20 Prozent der Fälle daneben. Rohit Saxena, Leiter der Studie an der School of Informatics der University of Edinburgh, betont deshalb:

Die meisten Menschen können von klein auf die Uhrzeit ablesen und Kalender benutzen. Unsere Ergebnisse zeigen eine erhebliche Lücke in der Fähigkeit der KI, was für Menschen ganz grundlegende Fertigkeiten sind. Diese Defizite müssen behoben werden, wenn KI-Systeme erfolgreich in zeitkritische Anwendungen wie Terminplanung, Automatisierung und Assistenztechnologien integriert werden sollen.

Das Verständnis von analogen Uhren und Kalendern ist für eine KI deshalb nicht trivial, weil das eine Kombination aus räumlichem Bewusstsein, Kontextverständnis und einfacher Mathematik erfordert. Das scheint für aktuelle KI-Modelle eine besonders hohe Hürde darzustellen. Dadurch zeigt sich auch, dass menschliche Kognition in bestimmten Bereichen nach wie vor überlegen ist.

Was haltet ihr von diesen überraschenden Ergebnissen? Habt ihr selbst schon Erfahrungen mit den Grenzen von KI-Systemen gemacht? Teilt eure Gedanken und Erlebnisse in den Kommentaren - wir sind gespannt auf eure Perspektiven!

Siehe auch: