KI außer Kontrolle: Agenten können selbstständig Botnetze aufbauen

Smart-Home-Geräte stellten schon bisher immer wieder ein Sicherheitsrisiko dar. Dieses wird sich mit den Fähigkeiten kommender KI-Agenten aber noch potenzieren, ist man sich bei Anthropic sicher.

Selbstreplizierend im Smart-Home

Bei dem KI-Entwickler ist man der Ansicht, dass sich kleine KI-Modelle schon in wenigen Monaten selbstständig über internetfähige Geräte verbreiten könnten. Dafür müssten sie keine großen Rechenzentren nutzen, sondern würden beispielsweise die Rechenleistung von Smart-Home-Geräten oder Android-TV-Boxen anzapfen. Ein solcher Prozess wäre schwer zu stoppen, weil es keinen zentralen Angriffspunkt gäbe, an dem sich die Verbreitung unterbrechen ließe. Ein vollständig autonomer, sich selbst vervielfältigender KI-Agent existiert nach Angaben des Unternehmens bislang allerdings noch nicht.

In einem Blogbeitrag beschreibt das KI-Unternehmen verschiedene Szenarien, in denen sich künstliche Intelligenz auf vernetzten Geräten einnisten und von dort aus weiterverbreiten könnte. Anthropic zufolge sind KI-Agenten zunehmend in der Lage, einzelne Schritte einer solchen Replikationskette auszuführen. Dazu gehört auch, Anpassungen an spätere Kopien weiterzugeben.


Für seine Untersuchungen testete Anthropic unter anderem ein kleines KI-Modell aus dem Hause Google namens Gemma4-26B-A4B auf einem Netzwerk aus 15 günstigen Android-TV-Boxen unbekannter Marken. Solche Geräte verfügen häufig über unzureichende Sicherheitsmechanismen und könnten deshalb vergleichsweise leicht kompromittiert werden.

Verteiltes Rechnen

Ist ein Modell zu groß, um vollständig auf einem einzelnen Gerät zu laufen, könnte es seine Bestandteile auf mehrere Geräte verteilen. Anthropic bezeichnet diese Aufteilung als "Shards". Die einzelnen Komponenten würden dann gemeinsam die notwendige Rechenleistung bereitstellen.

Ein denkbares Szenario wäre ein digitaler Wurm, der nicht auf einem einzigen KI-Modell basiert. Stattdessen könnten unterschiedliche Modelle auf verschiedenen Gerätetypen zusammenarbeiten und jeweils eigene Methoden zur Weiterverbreitung nutzen. Eine solche verteilte Struktur könnte die Erkennung und Bekämpfung erheblich erschweren.

Welche konkrete Form selbstständig agierende, sich vervielfältigende KI-Systeme annehmen könnten, sei derzeit unklar, räumte Anthropic ein. Möglich wäre ein langsam wachsendes Netzwerk kompromittierter Geräte. Ebenso denkbar seien leistungsfähige KI-Systeme, die Rechenzentren angreifen, oder Modelle, die Menschen durch Betrugsversuche zur Bereitstellung zusätzlicher Rechenkapazitäten bewegen.

Siehe auch: