KI-geschriebener Polizeibericht:
Beamter wurde in Frosch "verwandelt"

Das KI-Tool Axon Draft One soll Polizeiberichte automatisieren, sorg­te in Utah aber für einen äußerst kuriosen Vorfall. Weil im Hinter­grund ein Disney-Film lief, protokollierte die Software die Ver­wand­lung eines Beamten in einen Frosch.

Kuriose Fehler in Polizeiberichten

In Heber City im US-Bundesstaat Utah sorgte der Testlauf einer Software für automatisierte Polizeiberichte für Aufsehen. Das System protokollierte fälschlicher- und lustigerweise, ein Polizeibeamter habe sich während eines Einsatzes in einen Frosch verwandelt. Das Programm Axon Draft One, das auf GPT-4 von OpenAI basiert, analysierte die Audioaufnahmen der Bodycam eines Polizisten. Dabei war die künstliche Intelligenz nicht in der Lage, die relevanten Einsatzergebnisse von Hintergrundgeräuschen zu trennen.

Das System zielt darauf ab, Audiodaten von Einsätzen zu transkribieren und daraus strukturierte Berichte zu generieren, um den massiven Verwaltungsaufwand der Beamten zu reduzieren. In diesem spezifischen Fall lief jedoch im Hintergrund der Disney-Film Küss den Frosch (Original: The Princess and the Frog). Die generative KI interpretierte die Dialoge des Films als reale Geschehnisse und wob die magische Transformation eines Charakters als vermeintliche Tatsache in den offiziellen Berichtsentwurf ein.

Wie der Lokalsender Fox13 Salt Lake City berichtet, bestätigte Sergeant Rick Keel den Vorfall gegenüber der Presse. Ihm zufolge habe das Ereignis dem Department drastisch vor Augen geführt, wie essenziell das manuelle Korrigieren und Überprüfen dieser KI-generierten Berichte ist. Trotz des skurrilen Fehlers betonte Keel das enorme Potenzial der Technologie für den Arbeitsalltag: Durch die Automatisierung der Schreibarbeit spare er sich wöchentlich bereits etwa sechs bis acht Stunden Zeit, die er stattdessen auf Patrouille verbringen kann.

Effizienz trifft auf Realitätsprobleme

Der Fehler basierte auf einer fehlerhaften Kontextualisierung durch das Sprachmodell. Im Film wird der Protagonist Prinz Naveen durch einen Voodoo-Zauber in einen Frosch verwandelt. Da die Bodycam des Polizisten den Ton des Fernsehers klar aufzeichnete, ordnete Axon Draft One die Sätze über die Verwandlung dem anwesenden Beamten zu. Das verdeutlicht eine Schwachstelle moderner LLMs (Large Language Models): Sie verstehen Sprache statistisch exzellent, besitzen aber kein echtes Verständnis für die physische Realität oder den Unterschied zwischen einem Fernsehton und einem Verhör.


Das Department plant laut aktuellen Angaben, auch nach der Testphase an KI-Lösungen festzuhalten, will jedoch die Überwachung der Ergebnisse intensivieren.

Experten und Bürgerrechtler sehen den flächendeckenden Einsatz solcher Technologien jedoch kritisch. Die Electronic Frontier Foundation (EFF) argumentiert, dass es oft schwer zu erkennen ist, wo die KI beginnt und die Bearbeitung durch den Beamten endet, was die Rechenschaftspflicht untergraben kann. Während ein Frosch-Offizier als offensichtlicher Fehler leicht zu erkennen ist, könnten subtilere Fehler, wie etwa ein falsch zugeordnetes Geständnis oder eine erfundene Bedrohungslage, gravierende juristische Folgen haben.

Das Problem der sogenannten Halluzinationen ist bei der Verwendung von LLMs ein bekanntes Phänomen. Wenn solche Fehler in strafrechtlich relevanten Dokumenten auftauchen, gefährdet das die Integrität des Justizsystems.

Haltet ihr den Einsatz solcher KI-Tools bei der Polizei für sinnvoll oder überwiegen für euch die Risiken bei der Beweissicherung? Schreibt uns eure Meinung in die Kommentare!


Siehe auch: