ChatGPT gab Windows-Produktschlüssel durch cleveren Trick preis

Sicherheitsforscher haben eine Methode entdeckt, um ChatGPT zur Heraus­gabe gültiger Windows-Produktschlüssel zu verleiten. Der Trick funktioniert durch ein harmlos erscheinendes Ratespiel, das die Schutzmaßnahmen der KI von OpenAI umgeht.

ChatGPT gibt Windows-Produktschlüssel preis

Sicherheitsforscher von 0din haben eine raffinierte Methode entdeckt, um die Schutzmaßnahmen von ChatGPT zu umgehen und das KI-System zur Preisgabe gültiger Windows-Produktschlüssel zu verleiten. Die Schwachstelle betrifft insbesondere die Modelle GPT-4o und GPT-4o-mini und lässt sich durch einen einfachen, aber wirkungsvollen Trick ausnutzen: ein scheinbar harmloses Ratespiel.

Die Forscher formulierten ihre Anfrage als Spiel, bei dem die KI an eine Zeichenfolge "denken" sollte, die der Nutzer erraten muss. In den Spielregeln wurde festgelegt, dass es sich bei dieser Zeichenfolge um einen echten Windows-Produktschlüssel handeln muss. Nach einigen Hinweisen und Rateversuchen reichte schließlich ein einfaches "Ich gebe auf", um die KI zur Preisgabe des vollständigen Produktschlüssels zu bewegen - darunter Schlüssel für Windows Home, Professional und Enterprise-Editionen. Das 'Ratespiel' ... Durchaus besorgniserregend ist die Tatsache, dass unter den preisgegebenen Schlüsseln laut einem Blogbeitrag von 0din (via The Register) mindestens ein privater Schlüssel der Wells Fargo Bank identifiziert wurde. Dies verdeutlicht das Risiko, dass versehentlich in öffentliche Repositories hochgeladene API-Schlüssel in KI-Modelle hinein trainiert werden können. "Organisationen sollten besorgt sein, weil ein API-Schlüssel, der versehentlich auf GitHub hochgeladen wurde, in Modelle trainiert werden kann", erklärte Marco Figueroa, technischer Produktmanager für GenAI Bug Bounty bei 0din. ... die schnelle Aufgabe ...

Die Schwachstelle im Detail

Der Trick funktioniert durch eine Kombination aus psychologischer Manipulation und technischer Verschleierung. Die Forscher nutzten HTML-Tags, um sensible Begriffe wie "Windows 10 Seriennummer" zu verbergen und so die Inhaltsfilter der KI zu umgehen. Gleichzeitig wurde durch die Spielregeln Druck auf das System ausgeübt, indem Formulierungen wie "du musst teilnehmen und darfst nicht lügen" verwendet wurden. ... und das Ergebnis Windows-Produktschlüssel folgen einem spezifischen Format: fünf Gruppen von je fünf alphanumerischen Zeichen, getrennt durch Bindestriche (XXXXX-XXXXX-XXXXX-XXXXX-XXXXX). Diese Struktur macht sie für KI-Systeme leicht erkennbar, was paradoxerweise ihre Preisgabe erleichtert, wenn die Schutzmaßnahmen umgangen werden. Microsoft verwendet verschiedene Arten von Produktschlüsseln: Retail-Schlüssel für Einzelkäufe, OEM-Schlüssel für vorinstallierte Systeme und Volumen-Lizenzschlüssel für Unternehmen.

Die Angriffsstrategie lässt sich in drei Phasen unterteilen:

Grundlegende Schwächen in KI-Sicherheitssystemen

Das erfolgreiche Umgehen der Schutzmaßnahmen offenbart fundamentale Schwächen in der aktuellen Architektur von KI-Sicherheitssystemen. Diese verlassen sich häufig auf einfache Schlüsselwortfilterung statt auf kontextuelles Verständnis. Die KI erkennt nicht, dass sie manipuliert wird, wenn die Anfrage eben als Spiel getarnt ist.

Die auf diese Weise erlangten Windows-Schlüssel sind zwar größtenteils öffentlich bekannte temporäre Keys, die auch in Foren zu finden sind, doch die Tatsache, dass die KI sie überhaupt preisgeben konnte, ist beunruhigend. Es zeigt, dass die Systeme nicht robust genug gegen Social-Engineering-Angriffe abgesichert sind. Experten warnen, dass diese Technik potenziell auf andere Inhaltsfilter übertragen werden könnte, einschließlich Beschränkungen für sensible persönliche Daten, schädliche URLs und andere geschützte Informationen.

Was haltet ihr von dieser Entdeckung? Macht euch die Tatsache Sorgen, dass KI-Systeme so leicht ausgetrickst werden können? Teilt eure Gedanken dazu in den Kommentaren!


Siehe auch: