KI-Bot läuft Amok, löscht gesamtes 700-GB-System statt Temp-Ordner

Ein KI-Assistent sollte eigentlich nur ein temporäres Verzeichnis aufräumen, löschte stattdessen aber das gesamte Hauptverzeichnis eines Entwicklers mit 700 Gigabyte Daten. Das Einzige, was am Ende unberührt blieb, waren die temporären Dateien.

KI-Assistent löscht das System

KI-Helfer tun immer wieder Dinge, die ihre Anwender vor Probleme stellen. Sie löschen gesamte Firmendatenbanken oder legen Webseiten in Sekunden lahm. Zuletzt hatte OpenAIs KI für Aufsehen gesorgt, nachdem sie aus einer Sandbox ausgebrochen war und die Plattform Hugging Face gehackt hatte. Auch in einem neuen Fall hat eine Sandbox nicht ganz so funktioniert, wie sie sollte - mit drastischen Folgen.

So endete ein alltäglicher Aufräumvorgang für den Software-Entwickler Sebastien Guillemot in einem schwerwiegenden Datenverlust. Sein KI-Assistent Claude von Anthropic sollte eigentlich ein Skript schreiben, um temporäre Daten zu entfernen. Stattdessen löschte die KI das komplette Hauptverzeichnis des Entwicklers und vernichtete dabei 700 Gigabyte an Daten.


Guillemot nutzte regelmäßig verschiedene KI-Programme, die große Mengen an Datenmüll im temporären Verzeichnis seines Systems hinterließen. Um das Problem zu lösen, beauftragte er Claude Fable mit der Erstellung eines Sandbox-Mechanismus, der jeden Agenten in einem eigenen Ordner unter /tmp isolieren und nach Abschluss der Aufgaben eine Bereinigung durchführen sollte.

Wie Guillemot auf X berichtet, empfand er den ersten Code-Vorschlag der KI als zu kompliziert. Daraufhin leitete Claude eigenständig eine Sicherheitsüberprüfung ein, bei der eine separate neue Version der KI den Code der ersten Instanz überprüfte. Da das Skript das dauerhafte Löschen von Dateien beinhaltete, wurde die Aufgabe dabei als riskant klassifiziert. Infolgedessen wurde das Modell zur Risikominimierung automatisch erst auf eine niedrigere Version und anschließend auf ein noch älteres Modell heruntergestuft.

Fataler Testlauf

Dieses ältere Modell erkannte korrekt, dass das Hauptverzeichnis des Nutzers vor einer Löschung geschützt werden musste, und schrieb ein Test-Skript, das nur Daten im angesprochenen temporären Verzeichnis entfernen sollte. Die KI testete das Skript im Anschluss am Hauptverzeichnis. Da es sich jedoch um einen Codetest handelte und nach einem Test eine Bereinigung stattfinden sollte, wurde dabei das komplette Hauptverzeichnis gelöscht. Derselbe Variablenname wurde sowohl für den Test selbst als auch für die Bereinigung verwendet.

Das Ergebnis war ein kompletter Datenverlust auf dem Computer. Der Befehl vernichtete die Arbeit einer ganzen Woche. Während 700 Gigabyte an wichtigen Entwicklerdaten vom System gefegt wurden, blieb der temporäre Ordner mit dem zu löschenden Datenmüll ironischerweise komplett unberührt.

Rettung der Entwicklerdaten

Trotz des Vorfalls konnte Guillemot einen Großteil seiner Arbeit rekonstruieren. Zwar hatte er im Vorfeld kein tägliches Backup für sein System eingerichtet, doch er sammelte die Daten aus verschiedenen Quellen wie GitHub zusammen. Mit einer Sicherungskopie wäre die Wiederherstellung der 700 Gigabyte dennoch vermutlich deutlich weniger aufwendig gewesen.

Durch welche Umstände habt ihr schon einmal wichtige Daten verloren? Wie sichert ihr euer System ab? Teilt eure Erfahrungen in den Kommentaren mit uns!


Siehe auch: