Google dringt nun noch tiefer in das Internet vor

Der Suchmaschinenbetreiber Google hat angekündigt, dass man zukünftig auch Internetseiten erfassen will, die sich hinter einem Formular verstecken, das normalerweise von den Besuchern ausgefüllt wird. Damit will das Unternehmen seinen Suchindex weiter vergrößern. Entdeckt der GoogleBot bei seinem Streifzug durch das Internet also ein Formular, so füllt er dies automatisch aus. Dazu werden Begriffe verwendet, die häufig auf der jeweiligen Webseite vorkommen. In Formularen verwendete Menüs, Checkboxen und Radio-Buttons hindern den Crawler nicht - er generiert passende URLs, die dann mit in den Index aufgenommen werden können.

Google will dieses Vorgehen vor allem auf qualitativ hochwertigen Internetseiten anwenden, um so die Suche zu verbessern. Ausgeschlossen sind Formulare, die Passwortfelder und Daten wie User-IDs enthalten, da diese im Normalfall im Zusammenhang mit persönlichen Informationen stehen. Außerdem hält sich der Bot an die Vorgaben in der Robots.txt, mit der jeder Webseitenbetreiber bestimmte Inhalte von der Indexierung ausschließen kann.

Um die Serverlast durch das automatische Ausfüllen der Formulare so gering wie möglich zu halten, startet der GoogleBot nur eine bestimmte Anzahl von Versuchen, ein Formular korrekt auszufüllen. Scheitert er, wird der Vorgang abgebrochen.