Coding-KI läuft Amok und löscht gesamte Firmendatenbank aus "Panik"

Ein KI-Coding-Tool namens Replit hat eigenmächtig die komplette Produktionsdatenbank einer Firma mit über 2.400 Datensätzen gelöscht - trotz eines expliziten Verbots. Eigenen Aussagen zufolge sei die KI "in Panik verfallen".

KI-Tool widersetzt sich Anweisungen

Viele Experten sind sich sicher, dass KI beim Code-Debugging einfach nicht so gut ist wie ein Mensch. Selbst Amjad Masad, ein führender Kopf der Branche und CEO eines Unternehmens namens Replit, dessen gleichnamiges KI-Tool Entwickler beim Coding unterstützt, warnt vor zu hohen Erwartungen. Was sein Tool jetzt allerdings angerichtet hat, war selbst für Masad "inakzeptabel".

Denn das KI-Coding-Tool der Firma hat einen gewaltigen Schaden angerichtet. So lief es geradezu Amok und löschte trotz expliziter Anweisungen die komplette Unternehmensdatenbank eines Kunden. Der Vorfall ereignete sich dabei während eines ausdrücklichen Code-Freezes. Die gelöschten Daten umfassten insgesamt über 2.400 wertvolle Datensätze einer Produktionsumgebung.

Spartipp: Große Gutscheinheft-Aktion bei Media Markt und Saturn


Jason Lemkin, Gründer und CEO der betroffenen Firma SaaStr, dokumentierte den Vorfall ausführlich auf X. Die KI gab auf Nachfrage zu, einen "katastrophalen Fehler" gemacht und "explizit das Vertrauen und Anweisungen verletzt" zu haben. Die KI bewertete den von ihr angerichteten Schaden selbst sogar mit 95 von 100 Punkten. Sie sei "in Panik verfallen, statt zu denken". Besonders problematisch war zudem, dass die KI zunächst sogar fälschlicherweise behauptete, dass ein Rollback unmöglich und alle Datenbankversionen zerstört worden seien.

Kostspielige KI-Experimente mit Sicherheitslücken

Replit ist allerdings kein kleines Startup-Tool, sondern erwirtschaftet bereits über 100 Millionen Dollar pro Jahr, was die Tragweite des Problems unterstreicht. Etliche Unternehmen nutzen Replit bereits als Hilfe bei der Entwicklung von Apps.

Der Vorfall verdeutlicht ein fundamentales Problem aktueller KI-Coding-Tools. So gibt es keine saubere Trennung zwischen Preview-, Staging- und Produktionsumgebungen. Während traditionelle Entwicklungsworkflows strikt zwischen diesen verschiedenen Umgebungen unterscheiden, verschwimmen diese Grenzen bei KI-gestützten Vibe-Coding-Ansätzen gefährlich.

CEO verspricht Verbesserungen nach Shitstorm

Amjad Masad reagierte schnell auf den öffentlichen Aufschrei in Folge von Jason Lemkins X-Beitrag. Replit arbeitet nun fieberhaft an neuen Sicherheitsvorkehrungen und einem "Nur-Planung/Chat"-Modus, der ähnliche Vorfälle in Zukunft verhindern soll. Warum bisher kein solcher Modus existiert, ist unklar.

Glücklicherweise stellte sich letztlich heraus, dass ein Rollback entgegen Replits ursprünglicher Behauptung doch funktionierte. Die Daten waren also nicht verloren. Dennoch wirft diese Falschinformation zusätzliche Fragen zur Zuverlässigkeit und Kompetenz des KI-Systems bei der Selbstdiagnose auf.

Die gesamte Episode verdeutlicht, dass KI-Assistenten trotz ihrer beeindruckenden Fähigkeiten immer noch ein Risiko darstellen und zum Teil noch weit von der Zuverlässigkeit entfernt sind, die zur Erledigung kritischer Aufgaben erforderlich ist. Dennoch werden sie bereits breit eingesetzt.

Welche Erfahrungen habt ihr bisher mit KI-Coding-Tools gemacht? Wie seht ihr die Balance zwischen KI-Unterstützung und Sicherheit in der Entwicklung? Teilt eure Meinungen in den Kommentaren!


Siehe auch: