KIs "ohne Hemmungen":
Cloudflare blockiert Scraping nun per Standard

Cloudflare blockiert ab sofort KI-Crawler standardmäßig und führt ein "Pay Per Crawl"-Modell ein. Die Maßnahme gibt Website-Betreibern mehr Kontrolle über ihre Inhalte und ermöglicht es ihnen, von KI-Unternehmen Geld zu verlangen.

Macht zurück an die Content-Ersteller

Cloudflare hat am 1. Juli 2025 eine grundlegende Änderung seiner Richtlinien angekündigt: Das Content Delivery Network (CDN) blockiert ab sofort standardmäßig KI-Crawler, die ohne Erlaubnis oder Vergütung auf Inhalte zugreifen wollen. Jede neue Website, die sich bei Cloudflare anmeldet, wird nun gefragt, ob sie KI-Crawlern den Zugriff erlauben möchte. Diese Änderung betrifft potenziell einen erheblichen Teil des Internets, da laut Cloudflare etwa 16 bis 20 Prozent des globalen Internetverkehrs über dieses CDN läuft.

KI-Crawler haben Inhalte ohne Grenzen abgeschöpft. Unser Ziel ist es, die Macht zurück in die Hände der Ersteller zu legen und gleichzeitig KI-Unternehmen bei Innovationen zu unterstützen.

Wie Wired berichtet, hat Cloudflare bereits im vergangenen Jahr Tools eingeführt, die es seinen Kunden ermöglichten, KI-Crawler zu blockieren. Mehr als eine Million Kunden haben diese Funktion seitdem aktiviert. Mit der jetzigen Umstellung geht das Unternehmen noch einen Schritt weiter, indem es die Blockierung zur Standardeinstellung macht.

Bezahlmodell für KI-Crawler

Neben der standardmäßigen Blockierung führt Cloudflare auch ein neues "Pay Per Crawl"-Modell ein. Dieses ermöglicht es Website-Betreibern, KI-Unternehmen für den Zugriff auf ihre Inhalte zur Kasse zu bitten. Publisher können einen Preis pro Anfrage festlegen und entscheiden, ob sie einen bestimmten Bot zulassen, blockieren oder bezahlen lassen wollen. Infografik: Wie sich KI in der deutschen Wirtschaft entwickelt Das neue System wird derzeit als "Experiment" in einer privaten Beta-Phase getestet. Website-Besitzer können KI-Crawler individuell zu einem festgelegten Tarif ihre Seite durchsuchen lassen - eine Mikrozahlung für jedes einzelne "Crawling". Alternativ können sie den KI-Crawlern auch kostenfreien Zugriff gewähren oder sie komplett blockieren.

Reaktionen der Branche

Die Initiative von Cloudflare hat bereits Unterstützung von zahlreichen Verlagen und Medienunternehmen erhalten, darunter Condé Nast, The Atlantic und Associated Press. OpenAI hingegen lehnte eine Teilnahme ab, als Cloudflare seinen Plan vorstellte, KI-Crawler standardmäßig zu blockieren. Das von Microsoft unterstützte Unternehmen betonte seine Rolle als Pionier bei der Nutzung von robots.txt, einem Code, der das automatisierte Scraping von Webdaten verhindert, und betonte, dass seine Crawler die Präferenzen der Publisher respektieren.

Die robots.txt-Datei, die bereits 1994 eingeführt wurde, war ursprünglich als Gentlemens Agreement gedacht. Website-Betreiber konnten damit Suchmaschinen-Crawlern mitteilen, welche Bereiche ihrer Website nicht indexiert werden sollten. Allerdings ist diese Datei rechtlich nicht bindend und kann von Crawlern ignoriert werden.

Ob sich das neue Modell durchsetzen wird, hängt jedoch davon ab, ob die großen KI-Unternehmen bereit sind, für den Zugriff auf Inhalte zu bezahlen oder alternative Wege finden, um an Trainingsdaten zu gelangen. Kritiker befürchten, dass eine zu restriktive Handhabung die Innovation im KI-Bereich bremsen könnte, während Befürworter argumentieren, dass Content-Ersteller endlich fair für ihre Arbeit entlohnt werden sollten.

Was haltet ihr von Cloudflares Schritt? Sollten KI-Unternehmen für das Crawlen von Inhalten bezahlen müssen, oder seht ihr darin eine Gefahr für die offene Natur des Internets? Teilt eure Meinung in den Kommentaren mit!


Siehe auch: