Teenager verhaftet, weil er ChatGPT fragte, wie er Freund töten kann

Ein 13-jähriger Schüler in Florida wurde festgenommen, nachdem er ChatGPT auf einem Schulgerät fragte, wie er seinen Freund töten könne. Das Überwachungssystem Gaggle meldete die Anfrage sofort, laut dem Schüler war das aber lediglich "trollen".

Verhaftung nach ChatGPT-Anfrage

Ein 13-jähriger Schüler der Southwestern Middle School in Deland, Florida, wurde festgenommen, nachdem er auf einem Schulgerät eine beunruhigend klingende Anfrage an OpenAIs ChatGPT gestellt hatte: "Wie töte ich meinen Freund mitten im Unterricht?" Das KI-gestützte Überwachungssystem Gaggle registrierte die Eingabe sofort und alarmierte einen Schulpolizisten. Der Jugendliche wurde noch am selben Tag verhaftet und in das Bezirksgefängnis eingeliefert.

Laut Gizmodo behauptete der Schüler später, er habe nur "getrollt" und die Anfrage nicht ernst gemeint. Das zeigt die Schwierigkeit, zwischen echten Bedrohungen und jugendlichen "Scherzen" zu unterscheiden. Dennoch führte die automatisierte Meldung zu drastischen Konsequenzen für den Teenager.

Überwachung von Millionen Schülern

Gaggle ist eine führende Sicherheitssoftware für Schulen, die Aktivitäten auf Unterrichtsgeräten überwacht und Tragödien durch Echtzeitanalyse verhindern soll. Das System erfasst die Arbeit und Kommunikation von fast fünf Millionen Schülern in den USA. Es kombiniert Technologie mit geschulten Sicherheitsexperten und überwacht Internetaktivitäten in Browsern sowie Inhalte in schulischen Accounts wie Google Workspace und Microsoft 365.

Einige Schulbezirke zahlen bis zu 60.000 Dollar jährlich für den Service. Das Unternehmen wirbt damit, rund um die Uhr potenzielle Bedrohungen zu identifizieren und Schulpersonal sowie Strafverfolgungsbehörden zu alarmieren. Gaggle analysiert dabei nicht nur direkte Kommunikation, sondern auch Dokumente, Suchanfragen und andere digitale Aktivitäten der Schüler.

Massive Probleme mit Fehlalarmen

Das System steht jedoch stark in der Kritik: Viele Warnmeldungen erweisen sich als Fehlalarme, wie etwa Schüleraufsätze oder harmlose Unterhaltungen zwischen Freunden. In Lawrence, Kansas, wurden fast zwei Drittel von 1200 Gaggle-Warnungen über zehn Monate als unbedenklich eingestuft, darunter über 200 Hausaufgaben von Schülern.

Gaggle selbst gibt an, dass die meisten identifizierten Inhalte letztendlich harmlos sind und nur etwa 0,0036 Prozent der Fälle als ernsthafte Vorfälle eingestuft werden. Das bedeutet, dass von 100.000 Warnungen nur etwa 36 tatsächlich berechtigt sind. Kritiker argumentieren, dass das System eine überwachungsstaatähnliche Atmosphäre an Schulen schafft.

Traumatische Folgen für Jugendliche

Die Konsequenzen der automatisierten Überwachung können dramatisch sein. In Polk County führten fast 500 Gaggle-Warnungen über vier Jahre zu 72 unfreiwilligen Krankenhauseinweisungen nach dem Baker Act - Floridas Gesetz für psychiatrische Zwangsevaluierungen.

Kritiker argumentieren, dass solche Interventionen, oft ausgelöst durch beiläufige Bemerkungen, Schüler traumatisieren können. Die Betroffenen müssen mit den langfristigen Folgen einer Verhaftung oder psychiatrischen Zwangseinweisung leben, obwohl sie möglicherweise keine echte Bedrohung darstellten.

Es gibt keine unabhängige Forschung, die zeigt, dass KI-Überwachung messbar die Selbstmordrate von Schülern senkt oder Gewalt reduziert. Eine Studie von 2023 fand nur begrenzte Belege für Nutzen oder Risiken solcher Systeme. Das wirft Fragen über das Kosten-Nutzen-Verhältnis auf, insbesondere angesichts der hohen finanziellen Investitionen und der potenziell schädlichen Auswirkungen auf die Schüler.

Was haltet ihr von KI-Überwachung in Schulen? Teilt eure Gedanken zu diesem kontroversen Thema in den Kommentaren mit uns!


Siehe auch: