Anthropic-KI dreht frei, schickt falschen Hinweis zu Mordfall an Polizei

Bei einem Testlauf hat ein KI-Modell von Anthropic selbstständig falsche Hinweise zu einem echten Mordfall an die Polizei geschickt. Zudem soll die Software 20 Visa-Anträge auf einer Regierungsseite eingereicht haben. Das Unternehmen zieht Konsequenzen.

KI erfindet Hinweise zu Mordfall

Bei Tests mit einem KI-Agenten ist es nach dem Hack von Hugging Face und weiterer fremder Datenbanken wieder einmal zu einem kuriosen Zwischenfall gekommen. So hat eine bisher unveröffentlichte Variante von Anthropics Claude auf der Website der Polizei von Philadelphia falsche Informationen zu einem ungelösten Tötungsdelikt übermittelt.

Die Software gab in ihrer Nachricht über ein entsprechendes Formular an, sie erinnere sich daran, zur Tatzeit eine Person in der Gegend gesehen zu haben, die der Beschreibung entspreche. Tatsächlich enthielt die Website der Polizei aber gar keine Beschreibung eines Verdächtigen.

Späte Meldung verärgert Behörden

Das System ließ zudem das Kontaktfeld leer. So wurde die Nachricht immerhin direkt als Spam eingestuft. Wie TechCrunch berichtet, reagierten die Behörden dennoch verärgert, zumal Anthropic das Fehlverhalten erst Wochen später bemerkte.

Die Polizei von Philadelphia bezeichnete die beinahe zweimonatige Verzögerung bei der Meldung des Vorfalls als inakzeptabel. Das Sprachmodell hatte ursprünglich lediglich den Auftrag, mit zufällig ausgewählten Webseiten zu interagieren. Während das Anlegen von Accounts oder das Tätigen von Käufen blockiert war, fehlte offenbar eine Sperre für das Ausfüllen von Formularen.

Neben dem falschen Mordhinweis führte das Modell noch weitere ungeplante Aktivitäten aus. So navigierte die Software mehrfach selbstständig auf echte Behörden-Webseiten und reichte etwa beim US-Außenministerium insgesamt 20 unvollständige Anträge für Visa ein.

Einige Testläufe künftig ohne Internet

Als Reaktion auf die Vorfälle hat Anthropic laut einer offiziellen Stellungnahme den Internetzugang für interne Evaluierungen eingeschränkt und führt einige Tests nun offline durch. Das Unternehmen räumte jedoch ein, dass einige Aufgaben ohne Internetanbindung schwer zu trainieren seien. Laut Anthropic findet ein Modell manchmal eine Lücke oder lernt, Einschränkungen zu umgehen. Firmenchef Dario Amodei hatte auch deswegen bereits vorgeschlagen, die Entwicklung besonders fähiger Systeme zu verlangsamen.

Habt ihr Bedenken, wenn KI-Systeme völlig selbstständig im Internet agieren dürfen? Teilt eure Meinungen zu dem Thema gerne mit uns in den Kommentaren!

Siehe auch: