'Google-Killer' Cuil legt Websites beim Indizieren lahm

Die kürzlich gestartete Suchmaschine Cuil, die Google mit einem deutlich größeren Index Konkurrenz machen will, sorgt bei einer Reihe von Webseiten offenbar für massive Probleme. Ursache soll der neue Spider sein. Die Suchmaschine nutzt seit neuestem mit Twiceler einen neuen Robot, der Webseiten durchsucht und Daten in den Index überspielt. Dabei verursacht die Software nach Berichten zahlreicher Betreiber von Webseiten eine so hohe Last, dass weniger leistungsstarke Server in die Knie gehen.

In Online-Foren, die hauptsächlich von Administratoren genutzt werden, häufen sich entsprechende Berichte. So wird beispielsweise vermeldet, dass binnen eines Monats bis zu 70.000 Besuche durch den Spider gezählt wurden, der dann jeweils die vollständige Webseite indizierte.

Für größere Angebote ist dies noch keine Zahl, die sich auf die Performance auswirkt. Allerdings kommt es zu Problemen, wenn beispielsweise mehrere kleine Webseiten auf einem Server gehostet werden, wie es bei preiswerten Webspace-Angeboten oder Weblogs der Fall ist. Für Abhilfe sorgte den Berichten zufolge oft nur eine komplette Blockierung des Twiceler-Robots.

Das Problem liegt offenbar in dem hohen Anspruch der Cuil-Betreiber begründet, auch Seiten in den Index aufzunehmen, die bei Google nicht zu finden sind. Die großen Suchmaschinen erstellen ihre Datenbank, indem sie den Links auf einer bekannten Seite folgen und so bisher nicht indizierte Seiten finden.

Der Cuil-Spider soll allerdings beim Besuch einer Domain zusätzlich zahlreiche URLs durchprobieren, die offenbar teilweise zufällig erzeugt werden. Dadurch sollen wohl auch Seiten gefunden werden, die nicht über einen direkten Link von der Startseite aus erreichbar sind.