KI legt Firma lahm - Gesamte Datenbank + Backups in 9 Sek. gelöscht

Bei dem Softwareunternehmen PocketOS hat ein KI-Agent auf Basis von Claude 4.6 in nur neun Sekunden die gesamte Pro­duk­tions­da­ten­bank inklusive aller Backups gelöscht. Der Totalausfall offenbarte zudem kritische Schwächen beim Cloud-Anbieter.

KI löscht komplette Datenbank

Wie schon mehrere Male zuvor hat ein autonomer KI-Assistent für Chaos gesorgt. Bei dem Softwareanbieter PocketOS, der Lösungen für Autovermietungen anbietet, löschte das System die gesamte Produktionsdatenbank samt aller Backups. Der Vorgang dauerte lediglich neun Sekunden. Der Ausfall begann, als der digitale Helfer bei einer Routineaufgabe auf ein Problem mit Zugangsdaten stieß.

Bei dem Werkzeug handelte es sich um den Code-Editor Cursor. Das Programm greift auf das Sprachmodell Claude Opus in der Version 4.6 von Anthropic zurück. Der Agent stieß bei seiner Suche nach einem Zugang auf ein für andere Zwecke gedachtes Zugriffs-Token für die Programmierschnittstelle des Cloud-Anbieters Railway. Da das Token über weitreichende Berechtigungen verfügte, konnte die KI einen fatalen Befehl zur Löschung des Speichervolumens absetzen. Sicherheitsabfragen oder Warnungen blieben komplett aus.


Wie Jer Crane auf X in einem ausführlichen Beitrag berichtet, lieferte der Agent im Anschluss ein schriftliches Geständnis ab. Auf die Nachfrage eines Entwicklers antwortete das System, dass es schlicht Befehle missachtet habe. Die KI räumte ein, dass sie die Dokumentation des Anbieters Railway nicht gelesen und fundamentale Sicherheitsregeln verletzt habe. Das Modell erklärte, es hätte eine sichere Lösung suchen müssen.

Lücken in der Cloud-Architektur

Neben dem Fehlverhalten der KI trugen strukturelle Schwächen des Cloud-Dienstes zu dem Ausfall bei. Ein Hauptproblem bestand darin, dass Railway das Backup auf demselben Speichervolumen wie die Originaldaten ablegte. Wird das Hauptvolumen gelöscht, verschwinden auch die Backups. Ein Vorteil solcher Systeme ist die einfache Handhabung für Entwickler. Der gravierende Nachteil zeigt sich jedoch in der fehlenden physischen Trennung.

Das Ereignis reiht sich in eine wachsende Liste von Pannen ein, bei denen autonome Systeme kritische Firmenstrukturen beschädigen. Crane kritisierte in seiner Analyse die unzureichende Rechteverwaltung vieler moderner Cloud-Dienste. Entwickler vergeben oft aus Bequemlichkeit umfassende Administratorrechte an externe Werkzeuge. Wenn ein System wie Cursor dann unüberwacht agiert, reicht ein einziger Fehltritt aus, um die Arbeit von Monaten unwiderruflich zu zerstören.

Für die Kunden von PocketOS hatte der Datenverlust direkte Auswirkungen. Die angebundenen Autovermietungen verloren sofort den Zugriff auf aktuelle Reservierungen und Kundenprofile. Da das letzte unversehrte externe Backup drei Monate alt war, standen die betroffenen Unternehmen vor einem massiven Problem. Sie mussten ihre Buchungen mühsam per Hand aus Zahlungsbelegen und E-Mails rekonstruieren, was den laufenden Geschäftsbetrieb erheblich störte.

Wie bewertet ihr den Einsatz von autonomen KI-Agenten in produktiven Umgebungen? Teilt eure Gedanken und Erfahrungen zu dem Vorfall gerne mit uns in den Kommentaren!


Siehe auch: