GoogleBot kann Formulare automatisch ausfüllen

Auch Seiten hinter Formularen sollen erfasst werden

Google will mit seiner Suche auch Seiten erfassen, die versteckt hinter Formularen liegen. Entdeckt der Crawler GoogleBot auf qualitativ hochwertigen Websites Formulare, so füllt er diese aus, um an die dahinter liegenden Informationen zu gelangen, die Google so in seinen Index aufnehmen kann.

Artikel veröffentlicht am ,

Bereits seit geraumer Zeit durchsucht Google JavaScript und Flash-Inhalte nach Links zu neuen Webseiten, um durch diese Techniken verborgene Inhalte finden zu können. Nun macht Google einen weiteren Schritt, um seine Suche zu verbessern: Stößt der GoogleBot auf Text-Eingabe-Felder auf Webseiten, so füllt er diese Formulare mit Begriffen, die er auf der jeweiligen Seite findet und führt einige Anfragen aus, um an Inhalte hinter dem Formular zu gelangen. Auch Menüs, Checkboxen und Radio-Buttons füllt der Crawler aus und generiert entsprechende URLs, die dann in den Crawl-Vorgang mit aufgenommen werden. Sind die aus diesen Anfragen resultierenden Seiten valide, interessant und enthalten Inhalte, die Google noch nicht erfasst, werden sie dem Index hinzugefügt.

Ist Google der Zugriff auf die entsprechenden Seiten per Robots.txt untersagt, hält Google sich daran. Nicht erfasst werden Inhalte hinter Formularen, die Passwortfelder oder Daten wie User-IDs enthalten, die für gewöhnlich im Zusammenhang mit persönlichen Daten stehen. Zudem sei die Zahl der Anfragen sehr stark begrenzt, um die Last auf die Websites gering zu halten.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


RolandH 21. Jun 2009

Und darfst nicht zulange draufschauen...

mikke 02. Nov 2008

mmmm 15. Apr 2008

In den 90ern gab es Internetseiten mit Sound und lustigen DHTML Effekten, in den 00ern...

King Euro 15. Apr 2008

Joar, stimmt schon,.. wir sind ein wenig vom Topic abgeschwiffen.

Ekud 14. Apr 2008

Och schade :( Hatte mich so sehr gefreut mich mal mit Google zu unterhalten.



Aktuell auf der Startseite von Golem.de
Datenleck
Daten von 106 Millionen Thailand-Reisenden geleakt

In einer ungeschützten Datenbank fanden sich die Daten der Thailand-Reisenden aus den letzten zehn Jahren - inklusive Reisepassnummern.

Datenleck: Daten von 106 Millionen Thailand-Reisenden geleakt
Artikel
  1. Shang-Chi and the Legend of the 10 Rings: Marvel-Film kommt später als erwartet zu Disney+
    Shang-Chi and the Legend of the 10 Rings
    Marvel-Film kommt später als erwartet zu Disney+

    Disney bringt Shang-Chi and the Legend of the Ten Rings nicht bereits 45 Tage nach dem Kinostart zu Disney+, sondern erst einen Monat später.

  2. Eli Zero: Kleines E-Auto mit Türen und Fenstern kostet 12.000 Euro
    Eli Zero
    Kleines E-Auto mit Türen und Fenstern kostet 12.000 Euro

    Das minimalistische, vierrädrige Elektroauto Eli Zero soll für rund 12.000 Euro nach Europa kommen. Der Zweisitzer erinnert an den Smart.

  3. Einstieg ins Data Engineering mit Apache Spark
     
    Einstieg ins Data Engineering mit Apache Spark

    Im Bereich Data Engineering hat sich Apache Spark zum Standard entwickelt. Ein Zwei-Tage-Workshop der Golem Akademie erleichtert Big-Data-Einsteigern die Arbeit mit dem mächtigen Werkzeug.
    Sponsored Post von Golem Akademie

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Black Week bei NBB: Bis 50% Rabatt (u. a. MSI 31,5" Curved WQHD 165Hz 350€) • Thermaltake Level 20 RS ARGB Tower 99,90€ • Gran Turismo 7 25th Anniversary PS4/PS5 vorbestellbar 99,99€ • Alternate-Deals (u. a. Cooler Master Gaming-Tastatur 59,90€) • PS5 bei Amazon zu gewinnen [Werbung]
    •  /