Suchmaschine: Googles Crawler lernt Ajax

Mit dem Erfolg von Javascript und dem Ajax-Paradigma wird das Web für Suchmaschinen komplizierter. Google hat nun seinen Crawler angepasst, um auch Seiten indexieren zu können, die POST-Requests verwenden.

Artikel veröffentlicht am ,
Googlebot sendet POST-Requests.
Googlebot sendet POST-Requests. (Bild: Karen Bleier/AFP/Getty Images)

Immer mehr Seiten laden Inhalte per Javascript nach und verwenden dabei POST-Requests. Der Ansatz macht das Web für Nutzer schneller, für Suchmaschinen aber viel komplizierter, denn ihre Crawler können die so nachgeladenen Inhalte nicht erfassen. Das hat zur Folge, dass Inhalte solcher Websites nicht auffindbar sind.

Google hat nun seinen Crawler Googlebot angepasst, um auch über einen POST-Request nachgeladene Inhalte erfassen zu können. Google rät zwar weiterhin dazu, auf GET-Requests zu setzen, kann nun aber auch POST-Anfragen senden, um Inhalte zu erfassen, die auf diese Art und Weise nachgeladen werden. Googlebot macht das aber nur dann, wenn davon auszugehen ist, dass dies keine Probleme verursacht. Es geht Google darum, die Inhalte so abzurufen, wie sie auch die Nutzer zu Gesicht bekommen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


YoungManKlaus 09. Nov 2011

rfc lesen und so http://www.w3.org/Protocols/rfc2616/rfc2616-sec9.html#sec9.5 bei soap...

Baron Münchhausen. 09. Nov 2011

Der Crawler müsste schon mehr als Ajax kennen, da bei einer ordentlichen Lösung das XHR...

damnit.exe 02. Nov 2011

Weil sie in erster Linie Luftfahrtgesellschaften und keine IT-Unternehmen sind! Schlecht...

Vollstrecker 02. Nov 2011

Wird doch gerne auch in Foren genutzt um z.B. Spoiler, große Bilder, etc. einzubinden.



Aktuell auf der Startseite von Golem.de
Linux-Distro
CutefishOS ist doch nicht tot

CutefishOS ist eine von Hunderten Linux-Distibutionen. Es starb, sollte geforkt werden und war plötzlich wieder da. Und wieso? Weil es "cute" ist.
Von Boris Mayer

Linux-Distro: CutefishOS ist doch nicht tot
Artikel
  1. AKW Saporischschja: Ukraine äußert Sorge vor Atomkatastrophe
    AKW Saporischschja
    Ukraine äußert Sorge vor Atomkatastrophe

    Die Ukraine meldet, Russland habe das Kernkraftwerk Saporischschja mit Sprengstoff bestückt. Eine Sprengung könnte eine Katastrophe auslösen.

  2. Google Fonts: Abmahnungen an Webseitenbetreiber mit Google-Schriftarten
    Google Fonts
    Abmahnungen an Webseitenbetreiber mit Google-Schriftarten

    Nach einer Entscheidung des Landgerichts München erhalten Webseitenbetreiber mit eingebundenen Google Fonts vermehrt Abmahnungen.

  3. Sparmaßnahmen: Komplettes Chaos nach Entlassungen bei Oracle
    Sparmaßnahmen
    "Komplettes Chaos" nach Entlassungen bei Oracle

    Auch Oracle hat einen massiven Stellenabbau begonnen. Das Unternehmen will eine Milliarde US-Dollar an Kosten einsparen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Günstig wie nie: MSI 29,5" 200 Hz 259€, LG QNED 75" 120 Hz 1.455,89€ • MindStar (XFX RX 6950 XT 999€, Gainward RTX 3070 559€) • WD Black 2TB m. Kühlkörper (PS5) 219,90€ • Gigabyte Deals • Der beste Gaming-PC für 2.000€ • Apple Week bei Media Markt • be quiet! Deals [Werbung]
    •  /