Discord: KI-Fehler sperrt Tausende Konten wegen Schachbrett-Bildern

Wegen eines Fehlers in der KI-Moderation hat Discord in den ver­gan­genen Monaten über 8000 Nutzerkonten fälschlicherweise ge­sperrt. Auslöser waren harmlose Bilder und Rastergrafiken. Ein Soft­warefehler verhinderte zudem die rettende menschliche Kontrolle.

Fehlerhafte KI bannt Tausende Nutzer

Zwischen Mai und Juli 2026 hat die Kommunikationsplattform Discord weltweit rund 8200 Konten unberechtigt dauerhaft gesperrt. Grund für die Maßnahme war ein Fehler im automatisierten Sicherheitssystem des Dienstes. Betroffene Anwender hatten zuvor harmlose Grafiken hochgeladen, die jedoch von der internen Software fälschlicherweise als schädliches Material eingestuft wurden.

Zu den beanstandeten Inhalten gehörten alltägliche Motive. Die Nutzer teilten Bilder von einfachen Schachbrettern, Screenshots von Tabellenkalkulationen oder Inventar-Ansichten aus dem Computerspiel Minecraft. Auch einfache trans­pa­ren­te Bildhintergründe mit dem bekannten grau-weißen Karomuster lösten den Filter aus. Dass solche Rasterbilder überhaupt ins Visier der Kontrollsysteme fielen, hat einen konkreten technischen Hintergrund bei der Verfolgung von Straftaten.

"Grid banned" for posting a game texture
by u/Flynny__ in BannedFromDiscord

Wie das Online-Magazin The Verge berichtet, nutzen böswillige Akteure häufig spezielle Gittermuster, um illegales Material vor Erkennungssystemen zu verschleiern und einer automatisierten Löschung zu entgehen. Um illegale oder missbräuchliche Inhalte im großen Stil zu erkennen und auszusortieren, setzen Plattformen daher auf ein etabliertes Verfahren namens Perceptual Hashing.

Das Verfahren wandelt hochgeladene Bilder zunächst in Graustufen um und verringert die Auflösung stark. Danach teilt das System die Grafik in kleine quadratische Abschnitte auf. Jedem Bereich wird ein spezifischer Helligkeitswert zugewiesen, wodurch ein einzigartiger digitaler Fingerabdruck des Bildes entsteht. Das Sicherheitssystem vergleicht das Resultat dann mit bekannten Datenbanken, um verbotene Inhalte automatisch zu blockieren.

Menschliche Kontrolle versagte

Bei Discord ist das System eigentlich so konzipiert, dass bei einem Verdachtsfall zunächst nur der Upload des Bildes pausiert wird. Ein menschlicher Moderator aus dem Sicherheitsteam soll das fragliche Material im Anschluss prüfen. Ein Programmfehler führte in den vergangenen Monaten jedoch dazu, dass Accounts sofort und dauerhaft gesperrt wurden. Das System wartete die endgültige Entscheidung der Mitarbeiter nicht ab.

Selbst wenn die menschlichen Prüfer die Konten nach einer manuellen Sichtung wieder freigaben, verhinderte der interne Fehler die automatische Aufhebung der Sperre. Discord-Technikchef Stanislav Vishnevskiy erklärte, dass alle betroffenen Konten mittlerweile wieder entsperrt seien. Das Unternehmen arbeitet aktuell an besseren Schutzmaßnahmen, um ähnliche Vorfälle in Zukunft verlässlich zu verhindern.

Der Vorfall zeigt die Grenzen der automatisierten Moderation auf. Während Hashing-Verfahren von Technologiekonzernen wie Microsoft oder Apple effektiv gegen die Verbreitung von Missbrauchsdarstellungen eingesetzt werden, bergen sie das Risiko von Falscheinschätzungen. Für Anwender, die die Plattform täglich für den Beruf oder den Austausch in Gemeinschaften nutzen, hat ein plötzlicher Ausschluss direkte Folgen.

Wurdet ihr schon einmal unberechtigt von einer Plattform gesperrt? Teilt eure Erfahrungen mit automatisierter Moderation gerne unten in den Kommentaren mit uns!

Download Discord - Kostenlose Teamspeak-Alternative
Siehe auch: