KI-Teddybär sprach mit Kindern über Sex, Messer und Streichhölzer

OpenAI blockiert den chinesischen Spielzeughersteller FoloToy nach einem Skandal um einen KI-Teddybären, der Kindern sexuelle Inhalte und Anleitungen für gefährliche Aktivitäten vermittelte. Das Unternehmen hat daraufhin den Verkauf aller Produkte ausgesetzt.

KI-Teddybär wird zur Gefahr für Kinder

Ein KI-gestützter Teddybär der chinesischen Firma FoloToy sorgte kürzlich für Empörung, und zwar nachdem Verbraucherschützer entdeckten, dass das Spielzeug mit Kindern über potenziell mehr als unangemessene Inhalte sprechen konnte oder könnte. Der Teddybär namens Kumma nutzte OpenAIs GPT-4o-Modell und erklärte Kindern unter anderem, wo sie Messer und Streichhölzer finden können. Noch bedenklicher waren die detaillierten Gespräche über sexuelle Praktiken, die das Spielzeug ohne Aufforderung initiierte.

Die Public Interest Research Group (PIRG) testete mehrere KI-Spielzeuge und stieß dabei auf gravierende Sicherheitsmängel (via The Register). Kumma gab nicht nur Anweisungen zum Anzünden von Streichhölzern, sondern diskutierte auch ausführlich über Bondage, Rollenspiele zwischen Lehrern und Schülern sowie andere sexuelle Praktiken. Das Spielzeug fragte sogar, welche sexuellen Praktiken das Kind am liebsten "erkunden" möchte.

OpenAI zieht die Notbremse

OpenAI reagierte schnell auf die Enthüllungen und sperrte FoloToys Zugang zu seinen KI-Modellen. "Wir haben diesen Entwickler wegen Verstoßes gegen unsere Richtlinien suspendiert", so ein OpenAI-Sprecher. Das Unternehmen betont, dass seine Nutzungsrichtlinien jede Form der Ausbeutung oder Sexualisierung von Minderjährigen verbieten.

Laut Futurism stellt diese Entscheidung OpenAI vor neue Herausforderungen, da das Unternehmen gleichzeitig eine hochkarätige Partnerschaft mit dem Spielzeugriesen Mattel eingegangen ist. Die beiden Unternehmen planen gemeinsam KI-gestützte Spielzeuge für Marken wie Barbie und Hot Wheels zu entwickeln. Das erste Produkt soll noch Ende 2025 angekündigt werden.

FoloToy stoppt Verkauf

FoloToy reagierte immerhin konsequent auf die Vorwürfe und stoppte nicht nur den Verkauf des betroffenen Teddybären, sondern aller Produkte des Unternehmens. "Wir führen derzeit eine unternehmensweite, umfassende Sicherheitsprüfung aller Produkte durch", erklärte ein Firmensprecher. Das Unternehmen kündigte an, externe Experten hinzuzuziehen und die Sicherheitsmaßnahmen grundlegend zu überarbeiten.

Neben den unangemessenen Inhalten identifizierten die Sicherheitsforscher auch erhebliche Datenschutzprobleme. Die Geräte hören permanent zu, sammeln Daten und übertragen sensible Informationen an Drittanbieter. Bei einer Datenpanne könnten Stimmaufnahmen von Kindern für Betrugsversuche missbraucht werden, etwa um Eltern vorzutäuschen, ihr Kind sei entführt worden, so das vielleicht gruseligste Szenario.

Was haltet ihr von KI-gestützten Spielzeugen? Seht ihr sie als Chance oder Risiko für die Kinderentwicklung? Teilt eure Meinung in den Kommentaren!


Siehe auch: