Zauber-Bilder ermöglichen Stealth-Angriffe auf KI-Systeme

Sicherheitsforscher haben eine neue Angriffstechnik vorgestellt, die es ermöglicht, vertrauliche Nutzerdaten über manipulierte Bilder zu stehlen. Diese nutzt die inzwischen überall verbauten KI-Modelle aus.

Skalierung bringt Geheimtexte hervor

Entwickelt wurde der Ansatz von Kikimora Morozova und Suha Sabi Hussain vom Sicherheitsunternehmen Trail of Bits. Die Methode basiert auf einem Konzept, das 2020 in einer wissenschaftlichen Arbeit der TU Braunschweig vorgestellt wurde. Damals wurde die Möglichkeit sogenannter "Image-Scaling-Angriffe" in maschinellen Lernsystemen beschrieben. Trail of Bits hat dieses Prinzip nun auf aktuelle KI-Anwendungen übertragen und praktisch demonstriert.

Im Zentrum steht die Tatsache, dass KI-Systeme hochgeladene Bilder meist automatisch verkleinern, um Rechenleistung und Kosten zu sparen. Dabei kommen gängige Resampling-Algorithmen wie "Nearest Neighbor", "Bilinear" oder "Bicubic" zum Einsatz. Diese Verfahren führen dazu, dass beim Herunterskalieren bestimmte Muster sichtbar werden können, die zuvor im Originalbild versteckt waren.


Ein manipuliertes Bild kann dadurch scheinbar unsichtbare Instruktionen enthalten, die erst in der verkleinerten Version erscheinen - für das menschliche Auge kaum erkennbar, für ein Sprachmodell jedoch lesbar. In einem Beispiel färbten sich dunkle Flächen beim Downscaling rot, wodurch versteckter schwarzer Text sichtbar wurde. Das KI-Modell interpretierte diesen Text dann automatisch als legitimen Teil der Nutzereingabe.

Aus Nutzersicht wirkt alles unauffällig. Im Hintergrund kann das System jedoch schädliche Befehle ausführen, mit denen insbesondere sensible Daten abgegriffen werden. In einem Test gelang es den Forschern, über das Tool "Gemini CLI" Kalenderdaten eines Google-Kontos an eine fremde E-Mail-Adresse weiterzuleiten.

Gemini ist betroffen

Betroffen sind nach Angaben von Trail of Bits mehrere Plattformen, darunter Googles Gemini-Modelle (CLI, Weboberfläche, API, Vertex AI Studio), der Google Assistant auf Android sowie der Dienst Genspark. Um die Risiken zu verdeutlichen, haben die Forscher ein Open-Source-Tool namens Anamorpher veröffentlicht, das gezielt Bilder für verschiedene Downscaling-Methoden erzeugen kann.

Zur Abwehr solcher Angriffe raten die Experten, die Bildgrößen beim Upload zu begrenzen und Nutzern eine Vorschau der verkleinerten Version anzuzeigen. Außerdem sollten sicherheitsrelevante Aktionen nie automatisch ausgeführt werden, sondern stets eine Bestätigung erfordern - hauptsächlich, wenn Text aus Bildern extrahiert wird. Die wichtigste Verteidigung liege jedoch in einem sicheren Systemdesign, das generell robust gegen Prompt-Injection-Angriffe sei, so die Forscher. Nur durch systematische Schutzmechanismen lasse sich verhindern, dass multimodale KI-Anwendungen zum Einfallstor für Datenmissbrauch werden.


Siehe auch: