Frau nutzt Claude als "privates Tagebuch", wird gemeldet und verhaftet

Eine Frau aus Florida vertraute dem KI-Chatbot Claude als "privates Tagebuch". Darin notierte sie jedoch Schusswaffendrohungen gegen eine Polizeiwache. Automatische Filter schlugen Alarm, menschliche Prüfer verständigten dann die Polizei.

KI-Chatbot alarmiert Polizei

Eine 30-jährige Frau aus Bonita Springs in Florida wurde verhaftet, nachdem sie in einem KI-Chatbot Drohungen gegen die Polizei formuliert hatte. Carli H. nutzte Claude von Anthropic eigenen Angaben zufolge als "digitales Tagebuch". Laut den Ermittlern schrieb sie dort Ende September, dass sie im Büro des zuständigen Sheriffs von Lee County um sich schießen wolle.

Nachdem automatisierte Filter die Nachrichten ausgewertet hatten, machten menschliche Prüfer lokale Ermittlungsbehörden auf die Frau aufmerksam. Die Sicherheitsfilter durchsuchen Eingaben nach spezifischen Schlüsselwörtern und gefährlichen Inhalten. Wegen der Schwere der Aussagen leitete das System den Verlauf an ein Prüfungsteam weiter. Diese Mitarbeiter stuften die Einträge als glaubhafte Gefahr ein und verständigten die Polizei.

Menschliche Prüfer greifen ein

Wie es in einem Bericht der lokalen Webseite SWFL heißt, verfasste die Nutzerin am darauffolgenden Tag eine weitere Nachricht. Darin gab sie an, eine neue Schusswaffe erworben zu haben. Anderen Medien zufolge bezeichnete sie die Drohung als "letzte Chance". Daraufhin suchten Polizisten das Haus von Carli H. auf und nahmen sie widerstandslos in Gewahrsam.

Laut den Richtlinien von Anthropic darf das Unternehmen Nutzerdaten in Ausnahmesituationen an Behörden weitergeben, um Todesfälle oder schwere körperliche Verletzungen zu verhindern. Gegen die Frau wurde Anklage wegen der schriftlichen Androhung von Gewalt erhoben. Nach den Gesetzen in Florida gilt das als Verbrechen zweiten Grades. Sheriff Carmine Marceno erklärte in diesem Zusammenhang, dass Anwender in KI-Chaträumen niemals anonym seien.

Das Problem ist durchaus bekannt, denn die Dialogform von KI-Chatbots lässt viele Nutzer glauben, ein Gespräch sei privater, als es tatsächlich ist. Man sollte die Technologie deshalb nicht als privates Tagebuch oder gar Plattform für Fiktionales betrachten.

Gegen OpenAI laufen derzeit mehrere Klagen, die genau das - wenngleich aus einem anderen Sichtpunkt bzw. Ergebnis - zum Inhalt haben. Die kanadische Provinz British Columbia wirft dem Unternehmen etwa vor, dass man einen Amoklauf dort hätte verhindern können. Florida macht ChatGPT unter anderem für die Schießerei an der Florida State University im Jahr 2025 mitverantwortlich.

In einem Fall in der kanadischen Provinz British Columbia hatten die Dialoge die internen Vorgaben für eine behördliche Meldung nicht erreicht. Carli H. hat im November einen Gerichtstermin.

Nutzt ihr KI-Chatbots für persönliche Gedanken oder trennt ihr strikt zwischen Technik und Privatsphäre? Teilt eure Ansichten zu den automatisierten Kontrollen mit uns in den Kommentaren.

Siehe auch: