Cloudflare startet Tool zum Blockieren von datensammelnden KI-Bots

Cloudflare hat ein neues Feature vorgestellt, mit dem KI-Bots davon abgehalten werden sollen, sich ohne Nachfragen die Inhalte Dritter anzueignen. Die Option soll jetzt allen Nutzern des Content Delivery Networks (CDN) angeboten werden - auch in den Gratis-Tarifen.

Keine ungebetene Schnüffelei

Bisher sehen sich die meisten Entwickler von KI-Modellen völlig im Recht, wenn sie die Inhalte Dritter, die im Netz verfügbar sind, abgreifen, um ihre Systeme zu trainieren. Dagegen gab es schon viel Empörung und auch Klagen. Aufgrund des Drucks haben verschiedene große Anbieter wie OpenAI und Google inzwischen die Option eingeführt, dass Webseiten-Betreiber ihren Scraping-Bots den Zugang verweigern können.

Aber nicht alle KI-Entwickler gehen diesen Weg mit. Daher will Cloudflare es seinen Kunden nun ermöglichen, die Bots selbst von ihren Inhalten fernzuhalten. Dabei setzt der CDN-Betreiber selbst auf eine KI, die erkennen soll, wenn externe Bots versuchen, den Content automatisiert zu durchstöbern. Das hat einen Grund:

Leider haben wir beobachtet, dass Bot-Betreiber versuchen, mit einem gefälschten User-Agent den Anschein zu erwecken, dass sie ein echter Browser sind. Wir haben diese Aktivitäten über einen längeren Zeitraum beobachtet und sind stolz darauf, dass unser globales Machine-Learning-Modell diese Aktivitäten immer als Bot erkannt hat.

Perplexity fragt nicht

Einer dieser getarnt vorgehenden Bots stammt von Perplexity AI. Dieser versucht so zu agieren, dass er sich auf den ersten Blick kaum vom normalen Besucherverkehr auf einer Webseite unterscheidet. Dadurch fiel es vielen Seitenbetreibern bisher schwer, etwas gegen die unerwünschte Analyse der Inhalte zu unternehmen. Cloudflare will den Perplexity-Bot inzwischen aber mit hoher Sicherheit identifizieren können. Bot-Blocker in Security-Einstellungen aktivierbar Das Unternehmen kündigte auch an, die Funktion im Laufe der Zeit aktualisieren, um Änderungen bei den technischen Fingerabdrücken von KI-Scraping-Bots und das Aufkommen neuer Crawler zu berücksichtigen. Im Rahmen der Initiative führt das Unternehmen ein Tool ein, mit dem Website-Betreiber neue Bots melden können, auf die sie stoßen.

Siehe auch: