GoogleBot kann Formulare automatisch ausfüllen

Auch Seiten hinter Formularen sollen erfasst werden

Google will mit seiner Suche auch Seiten erfassen, die versteckt hinter Formularen liegen. Entdeckt der Crawler GoogleBot auf qualitativ hochwertigen Websites Formulare, so füllt er diese aus, um an die dahinter liegenden Informationen zu gelangen, die Google so in seinen Index aufnehmen kann.

Bereits seit geraumer Zeit durchsucht Google JavaScript und Flash-Inhalte nach Links zu neuen Webseiten, um durch diese Techniken verborgene Inhalte finden zu können. Nun macht Google einen weiteren Schritt, um seine Suche zu verbessern: Stößt der GoogleBot auf Text-Eingabe-Felder auf Webseiten, so füllt er diese Formulare mit Begriffen, die er auf der jeweiligen Seite findet und führt einige Anfragen aus, um an Inhalte hinter dem Formular zu gelangen. Auch Menüs, Checkboxen und Radio-Buttons füllt der Crawler aus und generiert entsprechende URLs, die dann in den Crawl-Vorgang mit aufgenommen werden. Sind die aus diesen Anfragen resultierenden Seiten valide, interessant und enthalten Inhalte, die Google noch nicht erfasst, werden sie dem Index hinzugefügt.

Ist Google der Zugriff auf die entsprechenden Seiten per Robots.txt untersagt, hält Google sich daran. Nicht erfasst werden Inhalte hinter Formularen, die Passwortfelder oder Daten wie User-IDs enthalten, die für gewöhnlich im Zusammenhang mit persönlichen Daten stehen. Zudem sei die Zahl der Anfragen sehr stark begrenzt, um die Last auf die Websites gering zu halten.