GoogleBot kann Formulare automatisch ausfüllen

Auch Seiten hinter Formularen sollen erfasst werden

Google will mit seiner Suche auch Seiten erfassen, die versteckt hinter Formularen liegen. Entdeckt der Crawler GoogleBot auf qualitativ hochwertigen Websites Formulare, so füllt er diese aus, um an die dahinter liegenden Informationen zu gelangen, die Google so in seinen Index aufnehmen kann.

Artikel veröffentlicht am ,

Bereits seit geraumer Zeit durchsucht Google JavaScript und Flash-Inhalte nach Links zu neuen Webseiten, um durch diese Techniken verborgene Inhalte finden zu können. Nun macht Google einen weiteren Schritt, um seine Suche zu verbessern: Stößt der GoogleBot auf Text-Eingabe-Felder auf Webseiten, so füllt er diese Formulare mit Begriffen, die er auf der jeweiligen Seite findet und führt einige Anfragen aus, um an Inhalte hinter dem Formular zu gelangen. Auch Menüs, Checkboxen und Radio-Buttons füllt der Crawler aus und generiert entsprechende URLs, die dann in den Crawl-Vorgang mit aufgenommen werden. Sind die aus diesen Anfragen resultierenden Seiten valide, interessant und enthalten Inhalte, die Google noch nicht erfasst, werden sie dem Index hinzugefügt.

Ist Google der Zugriff auf die entsprechenden Seiten per Robots.txt untersagt, hält Google sich daran. Nicht erfasst werden Inhalte hinter Formularen, die Passwortfelder oder Daten wie User-IDs enthalten, die für gewöhnlich im Zusammenhang mit persönlichen Daten stehen. Zudem sei die Zahl der Anfragen sehr stark begrenzt, um die Last auf die Websites gering zu halten.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


RolandH 21. Jun 2009

Und darfst nicht zulange draufschauen...

mikke 02. Nov 2008

mmmm 15. Apr 2008

In den 90ern gab es Internetseiten mit Sound und lustigen DHTML Effekten, in den 00ern...

King Euro 15. Apr 2008

Joar, stimmt schon,.. wir sind ein wenig vom Topic abgeschwiffen.



Aktuell auf der Startseite von Golem.de
Führung in der IT
Über das Unentbehrlichsein

Wie ich als Chef zum wandelnden Lexikon wurde und dabei meinen Spaß an der Arbeit verlor - und wie ich versuche, es besser zu machen.
Ein Erfahrungsbericht von @SoFuckingAgile

Führung in der IT: Über das Unentbehrlichsein
Artikel
  1. FTTC: Nachfrage für Vectoring der Telekom steigt um 60 Prozent
    FTTC
    Nachfrage für Vectoring der Telekom steigt um 60 Prozent

    Die Telekom sieht sich mit dem kupferbasierten Anschluss erfolgreich. Im Jahresvergleich hat sich der Kundenbestand um 1,3 Millionen auf 5,4 Millionen erhöht.

  2. Sensorfehler: Spinne legt Rendsburger Schwebefähre lahm
    Sensorfehler
    Spinne legt Rendsburger Schwebefähre lahm

    Ein Krabbeltier hat ein wichtiges Verkehrsmittel zur Überquerung des Nord-Ostsee-Kanals gestoppt - indem es ein Netz über einem Sensor gesponnen hat.

  3. Financial Modeling World Cup: Excel-E-Sport im Fernsehen
    Financial Modeling World Cup
    Excel-E-Sport im Fernsehen

    Ein TV-Sender in den USA übertrug erstmals die Ausscheidung der Excel-Weltmeisterschaft.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 jetzt bestellbar • Neuer MM-Flyer • MindStar (Gigabyte RTX 3070 Ti 699€, XFX RX 6950 XT 999€) • eBay Re-Store -50% • AVM Fritz-Box günstig wie nie • Top-SSDs 1TB/2TB (PS5) zu Hammerpreisen • MSI-Sale: Gaming-Laptops/PCs -30% • Der beste Gaming-PC für 2.000€ [Werbung]
    •  /