'Google-Killer' Cuil legt Websites beim Indizieren lahm

Internet & Webdienste Die kürzlich gestartete Suchmaschine Cuil, die Google mit einem deutlich größeren Index Konkurrenz machen will, sorgt bei einer Reihe von Webseiten offenbar für massive Probleme. Ursache soll der neue Spider sein. Die Suchmaschine nutzt seit neuestem mit Twiceler einen neuen Robot, der Webseiten durchsucht und Daten in den Index überspielt. Dabei verursacht die Software nach Berichten zahlreicher Betreiber von Webseiten eine so hohe Last, dass weniger leistungsstarke Server in die Knie gehen.

In Online-Foren, die hauptsächlich von Administratoren genutzt werden, häufen sich entsprechende Berichte. So wird beispielsweise vermeldet, dass binnen eines Monats bis zu 70.000 Besuche durch den Spider gezählt wurden, der dann jeweils die vollständige Webseite indizierte.

Für größere Angebote ist dies noch keine Zahl, die sich auf die Performance auswirkt. Allerdings kommt es zu Problemen, wenn beispielsweise mehrere kleine Webseiten auf einem Server gehostet werden, wie es bei preiswerten Webspace-Angeboten oder Weblogs der Fall ist. Für Abhilfe sorgte den Berichten zufolge oft nur eine komplette Blockierung des Twiceler-Robots.

Das Problem liegt offenbar in dem hohen Anspruch der Cuil-Betreiber begründet, auch Seiten in den Index aufzunehmen, die bei Google nicht zu finden sind. Die großen Suchmaschinen erstellen ihre Datenbank, indem sie den Links auf einer bekannten Seite folgen und so bisher nicht indizierte Seiten finden.

Der Cuil-Spider soll allerdings beim Besuch einer Domain zusätzlich zahlreiche URLs durchprobieren, die offenbar teilweise zufällig erzeugt werden. Dadurch sollen wohl auch Seiten gefunden werden, die nicht über einen direkten Link von der Startseite aus erreichbar sind.
Diese Nachricht empfehlen
Kommentieren21
Jetzt einen Kommentar schreiben


Alle Kommentare zu dieser News anzeigen
Kommentar abgeben Netiquette beachten!
Aktuelle IT-Stellenangebote

Jetzt als Amazon Blitzangebot

Ab 18:15 Uhr NINETEC Smartfit Fitness Tracker Bluetooth 4.0 Sport Armband
NINETEC Smartfit Fitness Tracker Bluetooth 4.0 Sport Armband
Original Amazon-Preis
39,99
Im Preisvergleich ab
?
Blitzangebot-Preis
29,99
Ersparnis zu Amazon 25% oder 10

Video-Empfehlungen

WinFuture Mobil

WinFuture.mbo QR-Code Auch Unterwegs bestens informiert!
Nachrichten und Kommentare auf
dem Smartphone lesen.

Folgt uns auf Twitter

WinFuture bei Twitter

Interessante Artikel & Testberichte

WinFuture wird gehostet von Artfiles

Tipp einsenden