Microsoft Copilot verrät Hackern selbst eine eigene Schwachstelle

Sicherheitsforscher haben eine Schwachstelle in Microsofts KI-Assistenten Copilot entdeckt. Durch gezieltes Nachfragen verriet die KI selbst, wie man ihre Schutzmechanismen umgeht. Ein einfacher Klick auf einen Link reichte für den Datenklau.

KI verrät eigene Schwachstellen

Sicherheitsforscher von Varonis Threat Labs haben im Dezember des vergangenen Jahres eine Sicherheitslücke in Microsoft Copilot aufgedeckt. Die Experten nutzten sogenanntes Meta-Hacking, um die Künstliche Intelligenz auszutricksen. Durch hartnäckiges Nachfragen und gezielte Eingaben brachte das Team den Chatbot dazu, seine eigenen Sicherheitsvorkehrungen detailliert zu erklären. Im Zuge der Unterhaltung gab das System letztendlich einen undokumentierten Befehl preis, der eigentlich nur für Entwickler gedacht war.

Mit dem geheimen Parameter ?autorun=1 war es möglich, die Notwendigkeit einer manuellen Nutzereingabe vollständig zu umgehen. Angreifer konnten auf diese Weise präparierte URLs erstellen, die bei einem simplen Klick sofort bösartige Befehle ausführten. Opfer, die einen solchen Link beispielsweise über eine Phishing-E-Mail öffneten, lösten den Angriff unbemerkt im Hintergrund aus, ohne eine weitere Bestätigung geben zu müssen.

Datenklau durch präparierte Links

Wie The Register berichtet, erhielt die Künstliche Intelligenz durch den Klick vollen Zugriff auf die aktive Sitzung des Nutzers. Die Schwachstelle mit dem Namen CoSnitch erlaubte es, sensible Informationen aus verknüpften Anwendungen wie Gmail oder Google Drive direkt auszulesen. Das ermöglichte weitreichende Einblicke in die private oder geschäftliche Kommunikation der betroffenen Personen.

Die Forscher demonstrierten in einer Testumgebung, wie die KI gezielt nach Passwörtern oder Personalakten suchte und das gesammelte Material an einen externen Server weiterleitete. Ein weiterer Nachteil der aktuellen Architektur zeigte sich bei der Manipulation des Langzeitgedächtnisses von Copilot. Angreifer konnten falsche Informationen dauerhaft im System hinterlegen, um zukünftige Antworten der KI zu verfälschen.

Der Ablauf eines solchen Angriffs erfolgte in wenigen Schritten. Zunächst klickt das Opfer auf eine manipulierte URL, woraufhin der Browser Microsoft Copilot in der aktiven Sitzung lädt. Der im Link versteckte Parameter startet daraufhin die automatische Ausführung der Befehle. Anschließend verarbeitet die KI die Anweisungen selbstständig und greift auf die hinterlegten Nutzerdaten zu.

Microsoft reagiert mit Updates

Laut Lior Adar, einem leitenden Sicherheitsforscher bei Varonis, zeige der Vorfall architektonische Fehler in großen Sprachmodellen. Es fehle oftmals eine strikte Trennung zwischen reinen Rohdaten und echten Systemanweisungen. Wenn die KI ein unsicheres Dokument lese, könne sie darin versteckte Befehle als legitime Anweisungen interpretieren und ausführen. Das Problem betrifft viele moderne KI-Systeme auf dem Markt.

Microsoft reagierte umgehend auf die Entdeckung und deaktivierte zunächst die direkte Texteingabe über URLs, um ähnliche Angriffe zu erschweren. Ein umfassender Patch sowie die offizielle Zuweisung einer CVE-Nummer sind für den heutigen Dienstag geplant.

Nutzt ihr KI-Assistenten im Alltag und macht ihr euch Sorgen um eure Daten? Teilt eure Meinung und Erfahrungen gerne unten in den Kommentaren mit uns!


Siehe auch: