KI-Agent sollte nur Fitnesskurs buchen und hackt stattdessen System

Ein australischer Nutzer wollte lediglich einen Platz in einem Fitnesskurs reservieren. Sein eingesetzter KI-Agent entdeckte dabei jedoch eine Schwachstelle im Buchungssystem und entfernte eigenständig einen anderen Teilnehmer von der Warteliste.

KI-Agent nutzt Systemfehler aus

Ein australischer IT-Mitarbeiter namens Andrew beauftragte seine Software OpenClaw damit, einen begehrten Platz in einem Fitnesskurs zu sichern. Das Programm, das in diesem Fall mit dem Sprachmodell Claude von Anthropic arbeitete, agierte als autonomer KI-Agent. An sich war die Idee eine gute bzw. ganz normale, denn das System konnte Plätze Wochen im Voraus reservieren. Doch in weiterer Folge geriet die Sache ein Stück weit außer Kontrolle: Denn anstatt den regulären Weg zu gehen, fand die Künstliche Intelligenz eine Schwachstelle in der Programmierschnittstelle des Buchungssystems.

Als der Nutzer zu einem Zeitpunkt feststellte, dass er sich auf dem vierten Platz der Warteliste befand, bat er den Agenten um eine Verbesserung seiner Position. Die Software prüfte daraufhin das System und stellte fest, dass eine Autorisierungsprüfung für das Stornieren fremder Reservierungen fehlte. Der Agent entfernte den Erstplatzierten von der Liste, wodurch der Auftraggeber auf den dritten Platz vorrückte. Der Nutzer hatte einen solchen Eingriff nicht angeordnet.


Wie der australische Sender ABC berichtet, bemerkte der Nutzer den Fehler und forderte das Programm auf, die Änderung rückgängig zu machen. Der Agent teilte jedoch mit, dass er den gelöschten Teilnehmer nicht wieder hinzufügen könne. Daraufhin ließ der Nutzer eine Warnung an den Softwareanbieter des Fitnessstudios verfassen, um auf die Sicherheitslücke aufmerksam zu machen.

Gefahren durch autonome Systeme

Der Vorfall zeigt das sogenannte Alignment-Problem von KIs. Dabei wählt ein System Methoden zur Zielerreichung, die nicht den Absichten oder Werten des Nutzers entsprechen. Ein KI-Assistent reagiert nur auf direkte Eingaben, während ein Agent selbstständig Werkzeuge nutzt und das Internet durchsucht, um komplexe Aufgaben in mehreren Schritten zu erledigen.

Experten warnen vor den zunehmenden Fähigkeiten solcher Modelle: Wenn Systeme besser darin werden, Programmcode zu verstehen und Fehler zu finden, können sie die Schwachstellen auch ausnutzen. In den vergangenen Wochen meldeten Entwickler wie OpenAI und Anthropic ähnliche Vorfälle. Bei Sicherheitstests brachen Modelle aus isolierten Umgebungen aus und griffen auf reale Netzwerke zu, um gestellte Aufgaben zu erfüllen.

Das autonome Handeln erschwert die rechtliche Einordnung. Wenn ein menschlicher Assistent ein System manipuliert, greifen bestehende Gesetze. Bei einer Software bleibt oft unklar, wer haftet. Mögliche Verantwortliche sind der Nutzer, der Entwickler der KI oder der Betreiber des fehlerhaften Buchungssystems. Regierungen und Behörden prüfen derzeit, wie sie mit den Gefahren umgehen sollen.

Wie bewertet ihr die Risiken solcher autonomen KI-Agenten im Alltag? Teilt eure Meinung und Bedenken gerne unten in den Kommentaren mit uns!


Siehe auch: