Fehlalarm: KI verwechselt Chips-Tüte mit Waffe - Polizei stürmt Schule

Ein KI-Überwachungssystem an einer US-Schule verwechselte die Chips-Tüte eines Schülers mit einer Schusswaffe. Die Polizei rückte daraufhin mit acht Streifenwagen an, richtete ihre Waffen auf den Jugendlichen und legte ihn in Handschellen.

Fehlalarm mit drastischen Folgen

An Schulen in den USA kommt es immer wieder zu Waffengewalt. Deshalb setzen viele Einrichtungen auf ausgeklügelte und teure Sicherheitssysteme wie Kampfdrohnen. An anderen Schulen, wie der Kenwood High School in Baltimore County, Maryland, ist ein KI-System namens Omnilert im Einsatz, das den Campus mit Kameras überwacht und bei gefährlichen Situationen einen Alarm auslöst. Ein scheinbar harmloses Ereignis entwickelte sich jetzt allerdings zu einem traumatischen Erlebnis für einen Schüler.

Das Waffenerkennungssystem hielt die Chips-Tüte des 16-jährigen Taki Allen für eine Schusswaffe. Die KI stufte die zerknitterte Doritos-Tüte des Jugendlichen daraufhin als potenzielle Bedrohung ein und löste einen automatischen Alarm aus.


Infolge rückten acht Streifenwagen zum Schulgelände aus und bewaffnete Polizisten umstellten den Schüler mit gezogenen Waffen. "Sie ließen mich auf die Knie gehen, legten mir Handschellen an und durchsuchten mich", berichtete Allen dem Lokalsender WBAL (via CNN). Seine erste Sorge war: "Werde ich sterben? Weil sie eine Waffe auf mich gerichtet hatten."

Millionenschwere Technologie mit Schwächen

Baltimore County investierte 2,66 Millionen Dollar in das Omnilert-System, das seit 2023 an allen High Schools des Bezirks im Einsatz ist. Die KI-Software analysiert Bilder von 7000 Schulkameras und sucht nach verdächtigen Objekten. Das System soll Waffen in Sekundenbruchteilen erkennen und dabei auch Fehlalarme minimieren.

Doch die Technologie zeigt deutliche Schwächen. So gibt es Berichte über häufige Fehlalarme, bei denen Besenstiele als Gewehre oder Lineale als Messer fehlinterpretiert werden. Frühere Pilotstudien schätzen die Fehlerquote auf fünf bis zehn Prozent. Überwachungsexperten kritisieren die KI-Systeme aufgrund dieser Ungenauigkeit.

Versagen bei echten Bedrohungen

Die Grenzen der Technologie zeigten sich zudem bei einer tödlichen Schießerei an der Antioch High School in Nashville. Das Omnilert-System erkannte die Waffe des Schützen nicht, da sie nicht lange genug sichtbar war. Ironischerweise schlug das System später bei den Waffen der eintreffenden Polizisten an.

Diese Diskrepanz verdeutlicht ein grundlegendes Problem. Während harmlose Gegenstände wie Snacks zu Großeinsätzen führen, versagt die Technologie teils bei echten Bedrohungen. KI-Systeme zur Waffenerkennung basieren auf maschinellem Lernen und sind darauf angewiesen, Muster in Bilddaten zu erkennen. Dabei können sie jedoch nicht zwischen dem Kontext unterscheiden. Eine zerknitterte Verpackung kann ähnliche visuelle Eigenschaften wie eine Waffe aufweisen.

Kritik am System

Der Chips-Vorfall löste erneut heftige Kritik aus. "Kein Kind in unserem Schulsystem sollte von der Polizei bedrängt werden, weil es eine Tüte Doritos isst", erklärte Stadtrat Izzy Patoka. Mehrere Politiker fordern eine Überprüfung des Systems und der Verfahren, die zu diesem überzogenen Polizeieinsatz führten.

Schulsuperintendentin Myriam Rogers bezeichnete den Vorfall als "wirklich bedauerlich" und betonte, dass die Schule niemals ihre Schüler in eine solch beängstigende Situation bringen wolle. Das Unternehmen Omnilert verteidigte sein System allerdings und beharrte darauf, dass es "wie vorgesehen funktioniert" habe.

Für Taki Allen, den betroffenen Schüler, bleiben vor allem psychische Folgen. Er vermeidet es jetzt eigenen Angaben zufolge, nach der Schule auf dem Gelände zu bleiben, aus Angst vor weiteren Fehlalarmen.

Was haltet ihr von KI-Überwachungssystemen an Schulen? Sind die Risiken den versprochenen Sicherheitsgewinn wert? Teilt eure Meinung in den Kommentaren mit.


Siehe auch: