Maus-Arbeit: Claude-KI kann die Steuerung des Computers übernehmen

Das KI-Unternehmen Anthropic hat ein neues Tool vorgestellt, das selbstständig Aufgaben am Rechner des Nutzers übernehmen kann. Es simuliert dafür einen User, übernimmt Maus-Eingaben und kann verschiedene alltägliche Aufgaben komplett übernehmen.

Automatisierung von Routine-Aufgaben

Das Feature, das im Rahmen der Weiterentwicklungen von Anthropics Claude- und Haiku-Modellen präsentiert wurde, heißt schlicht "Computer Use" und ist derzeit nur über die API des mittleren Modells Claude 3.5 Sonnet verfügbar. Mit "Computer Use" können Nutzer dem KI-System mehrschrittige Anweisungen geben, die laut Anthropic aus Dutzenden oder sogar Hunderten von Schritten bestehen können.

Das Tool kann Aufgaben ausführen, indem es den Bildschirm betrachtet, den Mauszeiger bewegt, Schaltflächen anklickt und Texte eingibt. Um dies zu ermöglichen, analysiert die Claude-KI Screenshots des Bildschirms, zählt die Pixel und bestimmt, wohin etwa der Mauspfeil bewegt werden muss.


Allerdings gibt es auch Einschränkungen. Das Tool arbeitet nicht mit einem Live-Video-Stream, sondern mit schnellen aufeinanderfolgenden Screenshots. Dadurch kann es kurzlebige Benachrichtigungen oder andere Bildschirmänderungen verpassen. Auch einfache Aktionen wie Drag-and-drop sind dem Tool bisher nicht möglich, hieß es. Zudem sei es manchmal noch "umständlich und fehleranfällig", räumt Anthropic ein. In einem Beispiel aus der Testphase wurde berichtet, dass das System aus unbekannten eine Programmieraufgabe unbeendet ließ und stattdessen begann, Bilder des Yellowstone-Nationalparks zu durchstöbern - was allerdings auch stark an einen menschlichen User erinnern kann.

Beta läuft

Das Tool befindet sich derzeit in der öffentlichen Beta-Phase, nachdem es zuvor in Zusammenarbeit mit Unternehmen wie Amazon, Canva, Asana und Notion getestet wurde. Bei der Entwicklung liegt der Fokus auf der Automatisierung häufig vorkommender Aufgaben und der Vereinfachung zeitaufwendiger Arbeiten.

In einer Demo zeigt Anthropic, wie die KI die Aufgabe bekommt, eine Datensammlung um die Informationen über ein bestimmtes Unternehmen zu ergänzen. Die KI wechselt dafür in den Browser, nutzt dort die Suchfunktion und holt sich die benötigten Daten von einer Webseite. Diese überträgt das Tool anschließend in das passende Formular. Anthropic hat "Computer Use" für öffentliche Tests freigegeben, um mögliche Probleme zu finden und das Tool gemeinsam mit externen Nutzern zu verbessern.


Siehe auch: