Wikipedia & Co.: KI-Bots belasten die Infrastruktur immer stärker

Die Wikipedia und ihre Schwester-Projekte kämpfen seit einiger Zeit mit einem massiven Anstieg des Traffics. Schuld ist aber nicht etwa ein gestiegenes Interesse von Nutzern - vielmehr verschaffen sich KI-Entwickler Zugang zu Trainingsmaterial.

Massenhaft die Inhalte abgegriffen

Seit Beginn des Jahres 2024 verzeichnet die Nachfrage nach Inhalten einen er­heb­li­chen Anstieg, teilte die Wikimedia Foundation als Betreiberin der Angebote mit. Besonders betroffen ist die Plattform Wikimedia Commons mit ihren 144 Mil­lio­nen frei zugänglichen Bildern, Videos und anderen Dateien. Neben mensch­lichen Nutzern würden zunehmend automatisierte Programme auf diese In­hal­te zugreifen und die Infrastruktur vor große Herausforderungen stellen, hieß es.

Die Wikimedia-Projekte sind die weltweit größte Sammlung von freiem Wissen. Ihr Inhalt dient nicht nur Suchenden, sondern auch Unternehmen, die auto­ma­ti­siert auf diese Informationen zugreifen, beispielsweise über Such­ma­schi­nen. Mit dem Aufstieg von KI-Technologien hat sich die Dynamik allerdings verändert. Traffic auf Wikimedia-Seiten Die Anzahl automatisierter Anfragen sei exponentiell gewachsen, beklagt die Stiftung. Vor allem sogenannte Scraper-Bots sammeln in großem Umfang Trainingsdaten für große Sprachmodelle (LLMs) und andere KI-Anwendungen. Diese unkontrollierte Nutzung sorgt nicht nur für eine steigende Belastung der technischen Infrastruktur. Im Netz würden sich auf diesem Weg zunehmend auch Inhalte ohne ausreichende Quellenangabe verbreiten.

Unwucht in der Last

Die Wikimedia Foundation betreibt selbst ein weltweites Netz von Rechenzentren. Um schnelle und effiziente Zugriffe auf Inhalte zu ermöglichen, werden aktuell populäre Inhalte hier beispielsweise im Cache vorgehalten. Während menschliche Nutzer aber vor allem populäre Seiten abrufen, durchforsten Bots das gesamte Archiv - auch selten besuchte Seiten.

Dies führt dazu, dass viele ihrer Anfragen letztlich bei den zentralen Rechenzentren ankommen und deren Ressourcenverbrauch erheblich erhöhen. Untersuchungen ergaben, dass mindestens 65 Prozent des besonders ressourcenintensiven Datenverkehrs von Bots stammt, obwohl deren Gesamtanteil an Seitenaufrufen nur 35 Prozent beträgt.


Siehe auch: