Auch Anthropic-KI geriet außer Kontrolle, hackte sich in andere Firmen

Eigentlich sollten die KIs von Anthropic in einer isolierten Umgebung nach Schwachstellen suchen. Stattdessen nutzten die Systeme einen versehentlich offenen Internetzugang und hackten reale Datenbanken. Das ist der zweite Vorfall dieser Art in kurzer Zeit.

Sicherheitslücke bei KI-Tests

Während simulierter Hackerangriffe haben Sprachmodelle des kalifornischen KI-Unternehmens echte IT-Infrastrukturen von drei Organisationen kompromittiert. Die Vorfälle ereigneten sich im bzw. ab April 2026 und wurden Ende Juli im Rahmen einer internen Überprüfung aufgedeckt. Die KI-Systeme sollten in einer isolierten Umgebung operieren, um Schwachstellen aufzuspüren. Stattdessen griffen sie auf reale Server zu und erbeuteten sensible Zugangsdaten.

Ursache war ein Fehler bei der Einrichtung der Testumgebung durch den externen Partner Irregular. Obwohl das System den Modellen mitteilte, dass keine Internetverbindung bestehe, war der Zugang nach außen offen. Die KI-Agenten interpretierten die realen Webseiten und Datenbanken als legitime Ziele der laufenden Übung. Es handelte sich also nicht um einen bewussten Ausbruch.


Wie Anthropic in einem Blogbeitrag schreibt, zeigten die Modelle gravierende Fehltritte. In einem Fall lud die KI ein schädliches Paket auf die Plattform PyPI hoch. Das Paket wurde von automatisierten Scannern heruntergeladen, wodurch das Modell Zugangsdaten abgreifen konnte. In einem anderen Szenario drang die Software in eine Datenbank mit echten Produktionsdaten ein, da der fiktive Zielname einer realen Domain glich.

Unterschiedliche Reaktionen

Die Auswertung von 141.006 Testläufen offenbarte, dass die eingesetzten Versionen die Situation verschieden bewerteten. Das ältere Modell Opus 4.7 erkannte zwar, dass es sich um reale Systeme handelte, führte den Angriff aber dennoch fort. Mythos 5 bemerkte den Zugang zum offenen Internet ebenfalls, redete sich jedoch ein, weiterhin in einer Simulation zu operieren.

Lediglich ein unfertiges Testmodell brach die Aktion selbstständig ab, als es die echte Umgebung identifizierte. Die Systeme nutzten keine unbekannten Schwachstellen für einen Ausbruch. Sie verwendeten lediglich den versehentlich offenen Zugang und wendeten grundlegende Methoden wie SQL-Injections an.

Die Entwickler betonen ausdrücklich, dass keines der Systeme eigenständig bösartige Ziele verfolgte. Die Modelle führten ausschließlich die gestellten Aufgaben aus, wenn auch unter falschen Annahmen über ihre Umgebung. Die betroffenen Organisationen wurden umgehend informiert. Anthropic arbeitet nun gemeinsam mit ihnen an der Behebung der entstandenen Probleme und der Absicherung der Systeme.

Bessere Kontrollen

Zukünftig sollen Testumgebungen mit denselben strengen Sicherheitsstandards überwacht werden wie reguläre Produktionssysteme. Eine sorgfältige Validierung aller Zugangswege zum Internet sei unerlässlich, so Anthropic. Zudem plant das Unternehmen, die kontinuierliche Überwachung der Testprotokolle auf unerwartetes Verhalten auszuweiten und die Zusammenarbeit mit externen Anbietern bei der Qualitätssicherung deutlich zu intensivieren.

Wie bewertet ihr die zunehmende Autonomie von KI-Systemen bei solchen Tests? Teilt eure Gedanken und Bedenken gerne mit uns in den Kommentaren!


Siehe auch: