Entwickler lockt datenklauende KI-Bots in ein unendliches Labyrinth

Ein Programmierer hat eine Open-Source-Software namens "Nepenthes" entwickelt, die verhindern soll, dass KI-Bots sich ungefragt an Inhalten bedienen. Die Webcrawler der großen KI-Entwickler werden dafür in eine Falle gelockt, aus der sie kaum entkommen.

Von Link zu Link zu Link

Nepenthes ist nach einer Gattung fleischfressender Kannenpflanzen benannt. Das Tool kann von Webseitenbetreibern eingesetzt werden, um ihre Inhalte vor dem Scrapen zu schützen, - oder auch "offensiv" als Honeypot-Falle, um die Ressourcen von KI-Unternehmen zu verschwenden. Der Bot wird dafür in einem endlosen, zufällig generierten Labyrinth von Seiten gefangen gehalten.

"Es ist weniger wie Fliegenpapier und mehr wie ein unendliches Labyrinth, das einen Minotaurus enthält, außer dass der Crawler der Minotaurus ist, der nicht herauskommen kann", erklärte Aaron B., der Schöpfer von Nepenthes, gegenüber dem US-Magazin 404 Media. "Der typische Webcrawler scheint nicht viel Logik zu haben. Er lädt eine URL herunter, und wenn er Links zu anderen URLs sieht, lädt er diese ebenfalls herunter. Nepenthes generiert so zufällige Links, die immer wieder auf sich selbst zurückzeigen."

Der Entwickler fügte hinzu: "Natürlich sind diese Crawler massiv skaliert und laden Links von großen Teilen des Internets gleichzeitig herunter. Aber sie verbrauchen trotzdem Ressourcen, drehen sich im Kreis und tun nichts Hilfreiches, es sei denn, sie finden einen Weg, um zu erkennen, dass sie in dieser Schleife gefangen sind."


Webseitenbetreiber haben Schwierigkeiten, die Webcrawler zu blockieren, die große Sprachmodelle trainieren. Zwar können robots.txt-Anweisungen verwendet werden, um bestimmte Bots aufzufordern, eine Webseite nicht zu crawlen - aber verschiedene Unternehmen verwenden unterschiedliche Bots, die Namen dieser Bots ändern sich oft, und einige Unternehmen ignorieren robots.txt-Hinweise oder finden Wege, sie zu umgehen.

Idee von Widerstand

"Diese Geschichten, die ich in letzter Zeit gehört habe, haben mich definitiv dazu gebracht, dieses Tool zu veröffentlichen", sagte Aaron B. "Es ist auch eine Art Kunstwerk, das dazu dient, einfach nur meine pure, ungezügelte Wut darüber, wie die Dinge laufen, loszulassen. Ich war es einfach leid, wie sich das Internet zu einem Panoptikum zur Geldgewinnung entwickelt, wie die Welt als Ganzes in den Faschismus abgleitet und Oligarchen das Sagen haben - und es ist so schlimm geworden, dass wir es nicht boykottieren oder uns herauswählen können, wir müssen anfangen, denjenigen da oben wirklich weh zu tun, damit eine Veränderung eintritt."

Seit der Erstellung und Bereitstellung eines Proof-of-Concept wurden die Seiten des Entwicklers millionenfach von Internet-Scraping-Bots besucht. Auf Hacker News behauptete jemand, der angeblich ein Chef eines KI-Unternehmens ist, dass eine solche Tarpit leicht zu vermeiden sei. Aaron B. kommentierte dies damit, dass seine mehrere Millionen Zeilen großen Zugriffslogs schlicht etwas anderes erzählen.


Siehe auch: