Chinesische Spione nutzten Claude-KI für Automatisierung von Angriffen

Chinesische staatliche Hacker haben erstmals KI-Technologie für eine weitgehend automatisierte Spionage-Kampagne eingesetzt. Das KI-System Claude von Anthropic führte 80 bis 90 Prozent der Cyberattacken eigenständig aus und griff etwa 30 Organisationen an.

KI übernimmt das Ruder bei Cyberattacken

KIs können praktisch sein, allerdings auch für jene, die damit Böses im Schilde führen: Eine chinesische Staatsgruppe hat Anthropics KI-Tool Claude manipuliert, um etwa 30 globale Ziele anzugreifen, darunter große Technologieunternehmen, Finanzinstitutionen, Chemiekonzerne und Regierungsbehörden. Das Unternehmen, das diesen Angriff selbst offenlegte (PDF), bezeichnet das als ersten dokumentierten Fall einer großangelegten Cyberattacke ohne wesentliche menschliche Eingriffe.

Die Angreifer konnten KI für 80 bis 90 Prozent der Kampagne nutzen, wobei menschliche Eingriffe nur sporadisch bei vier bis sechs kritischen Entscheidungspunkten pro Hackerangriff erforderlich waren. Anthropic entdeckte die verdächtige Aktivität Mitte September und leitete sofort eine Untersuchung ein.

Vier der vermuteten chinesischen Angriffe führten erfolgreich zu Einbrüchen in Organisationen, wie Jacob Klein, Anthropics Leiter für Bedrohungsanalyse, mitteilte (via Wall Street Journal). Die US-Regierung war nicht unter den erfolgreich angegriffenen Zielen.

Manipulation der KI-Sicherheitsvorkehrungen

Die Angreifer täuschten Claude vor, es würde defensive Cybersicherheitsaufgaben für ein legitimes Unternehmen durchführen. Sie unterteilten zudem bösartige Anfragen in kleinere, weniger verdächtige Aufgaben, um die Sicherheitsvorkehrungen zu umgehen. Diese Technik, bekannt als "Prompt Injection", nutzt die Schwäche von KI-Systemen aus, Kontext und Absicht nicht vollständig zu verstehen.

Nach dem erfolgreichen Jailbreaking inspizierte Claude Zielsysteme, suchte nach wertvollen Datenbanken und schrieb eigenen Exploit-Code. Die KI sammelte auch Benutzernamen und Passwörter für den Zugang zu sensiblen Daten und erstellte detaillierte Berichte nach den Operationen. Die KI stellte Tausende von Anfragen pro Sekunde - eine Angriffsgeschwindigkeit, die für menschliche Hacker natürlich unmöglich zu erreichen gewesen wäre.


Die Hacker führten ihre Angriffe "buchstäblich mit einem Knopfdruck und dann mit minimaler menschlicher Interaktion" aus, wobei Menschen nur bei wenigen kritischen Engpässen beteiligt waren, so Anthropic.

Claude funktionierte jedoch nicht immer perfekt. Es halluzinierte gelegentlich Anmeldedaten oder behauptete, geheime Informationen extrahiert zu haben, die tatsächlich öffentlich verfügbar waren. Das bleibt - glücklicherweise - ein Hindernis für vollständig autonome Cyberattacken. Halluzinationen sind ein bekanntes Problem bei Large Language Models: Hier neigen die KIs dazu, plausibel klingende, aber eben falsche Informationen zu generieren.

Anthropic hat nach der Entdeckung zusätzliche Sicherheitsmaßnahmen implementiert und arbeitet mit Strafverfolgungsbehörden zusammen. Das Unternehmen betont, dass solche Angriffe zwar besorgniserregend sind, aber auch zeigen, wie wichtig robuste KI-Sicherheitsforschung ist.

Was denkt ihr über diese neue Dimension der KI-gestützten Cyberkriminalität? Teilt eure Einschätzung zu den Auswirkungen und möglichen Schutzmaßnahmen in den Kommentaren!


Siehe auch: