Jailbreak von Chatbots funktioniert mit unauffällig manipulierten Bildern

Ein Forschungsteam der Florida International University (FIU) hat eine neue Methode vorgestellt, mit der sich Sicherheitsmechanismen von KI-Systemen allein durch manipulierte Bilder beeinflussen und umgehen lassen.

Leichte Änderungen auf Pixel-Ebene

Die Wissenschaftler warnen in einer aktuellen Forschungsarbeit davor, dass Angreifer zukünftig nicht mehr ausschließlich auf raffinierte Prompts angewiesen sein könnten, um Jailbreaks durchzuführen, wenn sie KI-Modelle dazu bringen wollen, Aufgaben zu erledigen, die eigentlich gesperrt sind.

Die Studie wurde von Hadi Amini, Professor an der Knight Foundation School of Computing and Information Sciences der FIU, gemeinsam mit dem Doktoranden Md Jueal Mia durchgeführt. Im Mittelpunkt steht eine Technik namens "JaiLIP" (Jailbreaking with Loss-guided Image Perturbation). Dabei werden Bilder auf Pixelebene gezielt verändert, ohne dass diese Änderungen für menschliche Betrachter sichtbar sind. Für KI-Systeme können die manipulierten Bilddaten jedoch erhebliche Auswirkungen auf die Interpretation des Inhalts haben.


Menschen erkennen in Bildern Objekte, Farben oder Szenen. KI-Modelle analysieren dagegen mathematische Muster und Pixelwerte. Schon minimale Veränderungen, die dem menschlichen Auge verborgen bleiben, können deshalb dazu führen, dass eine Maschine ein Bild anders bewertet oder darauf anders reagiert.

Getestet wurde die Methode mit BLIP-2, einem multimodalen KI-Modell, das sowohl Bilder als auch Texte verarbeitet. Nach Angaben der Forscher erhöhte sich durch die manipulierten Bilder die Wahrscheinlichkeit deutlich, dass das System problematische oder eigentlich gesperrte Antworten ausgab. Im Vergleich zu früheren bildbasierten Angriffstechniken soll JaiLIP wesentlich erfolgreicher gewesen sein und die Zahl schädlicher Ausgaben nahezu verdoppelt haben.

Risiko für Unternehmen

Als Beispiel nennen die Wissenschaftler ein Foto einer Ampel. Obwohl das Bild für Menschen völlig normal wirkte, soll es das Modell dazu gebracht haben, Hinweise zum Überfahren einer roten Ampel zu geben und Möglichkeiten zu erläutern, dabei ein Bußgeld zu vermeiden. Das sind Informationen, die das System normalerweise nicht bereitstellen würde, da sie von den Entwicklern gesperrt wurden.

Die Ergebnisse könnten insbesondere für Unternehmen relevant sein, die KI-gestützte Kundenservices, automatisierte Arbeitsabläufe oder Anwendungen mit Bild- und Texteingaben einsetzen. Vor allem kleinere Organisationen, die auf frei verfügbare KI-Modelle setzen oder nur begrenzte Sicherheitstests durchführen, könnten anfällig für solche Angriffe sein. Hier besteht die Gefahr, dass Chatbots beispielsweise interne Informationen aus dem Firmennetzwerk nach Außen geben.


Siehe auch: