KI-Detektoren halten die US-Verfassung für einen KI-verfassten Text

Die US-Verfassung ist das wichtigste rechtliche Schriftstück des Landes, sie ist auch weltweit eines der ältesten Schriftstücke ihrer Art. Fragt man aber Tools, die KI-Texte erkennen sollen, dann sind diese sicher, dass die US-Verfassung KI-generiert ist. Was steckt dahinter? War James Madison, Autor der US-Verfassung und späterer vierter Präsident der Vereinigten Staaten von Amerika, ein Zeitreisender? Diese natürlich ganz ernst gemeinte Frage stellt sich Ars Technica in einem ausführlichen Artikel, der beleuchtet, warum Tools zum Erkennen von KI-Texten davon ausgehen, dass The Constitution of the United States "vollständig" mithilfe einer künstlichen Intelligenz geschrieben wurde.

Es ist natürlich ausgeschlossen, dass eine KI beim Verfassen des Dokuments von 1789 zum Einsatz kam - aber warum glauben die KI-Detektoren das? Die kurze Antwort darauf bzw. Spoiler dazu ist: Weil man Tools wie GPTZero, ZeroGPT oder dem Text Classifier von OpenAI nicht vertrauen sollte.

In den vergangenen Monaten gab es in sozialen Medien gleich mehrere Fälle von viralen Postings, bei denen der "Test" mit Passagen der US-Verfassung durchgeführt wurde - erwartungsgemäß gab es viel Verwunderung und noch mehr Witze dazu.

KI beißt sich selbst in den Schwanz

Die längere Erklärung ist, dass KI-Erkennungsmodelle ähnlich wie die KIs selbst arbeiten: Sie werden mit einer Vielzahl an Texten gefüttert und sollen dann auf Basis von maschinellem Lernen erkennen, ob Mensch oder Maschine einen Text verfasst hat. Die einzelnen Methoden unterscheiden sich in Details, das Grundprinzip ist aber immer das gleiche.

Die wichtigste Rolle spielt hier Perplexität bzw. der in diesem Zusammenhang erforderliche statistische Begriff der Kreuzentropie. "Perplexität ist eine Funktion von 'Wie überraschend ist diese Sprache nach dem, was ich gesehen habe?'", erklärt die KI-Spezialistin Margaret Mitchell vereinfacht.

Die historische und gesellschaftliche Bedeutung der US-Verfassung führt aber eben dazu, dass das einer der fundamentalen Texte ist, mit denen die KIs trainiert werden. Das bedeutet dann auch, dass die Perplexität des Textes letztlich minimal ist und sich in gewisser Weise die sprichwörtliche Katze selbst in den Schwanz beißt.

Edward Tian, der Erschaffer von GPTZero, erläutert: "Die US-Verfassung ist ein Text, der immer wieder in die Trainingsdaten vieler großer Sprachmodelle einfließt. Daher werden viele dieser großen Sprachmodelle darauf trainiert, ähnliche Texte wie die Verfassung und andere häufig verwendete Trainingstexte zu erzeugen. GPTZero sagt Texte voraus, die wahrscheinlich von großen Sprachmodellen erzeugt werden, und so entsteht dieses faszinierende Phänomen."


Siehe auch: