Suchmaschine: Googles Crawler lernt Ajax

Mit dem Erfolg von Javascript und dem Ajax-Paradigma wird das Web für Suchmaschinen komplizierter. Google hat nun seinen Crawler angepasst, um auch Seiten indexieren zu können, die POST-Requests verwenden.

Artikel veröffentlicht am ,
Googlebot sendet POST-Requests.
Googlebot sendet POST-Requests. (Bild: Karen Bleier/AFP/Getty Images)

Immer mehr Seiten laden Inhalte per Javascript nach und verwenden dabei POST-Requests. Der Ansatz macht das Web für Nutzer schneller, für Suchmaschinen aber viel komplizierter, denn ihre Crawler können die so nachgeladenen Inhalte nicht erfassen. Das hat zur Folge, dass Inhalte solcher Websites nicht auffindbar sind.

Google hat nun seinen Crawler Googlebot angepasst, um auch über einen POST-Request nachgeladene Inhalte erfassen zu können. Google rät zwar weiterhin dazu, auf GET-Requests zu setzen, kann nun aber auch POST-Anfragen senden, um Inhalte zu erfassen, die auf diese Art und Weise nachgeladen werden. Googlebot macht das aber nur dann, wenn davon auszugehen ist, dass dies keine Probleme verursacht. Es geht Google darum, die Inhalte so abzurufen, wie sie auch die Nutzer zu Gesicht bekommen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


YoungManKlaus 09. Nov 2011

rfc lesen und so http://www.w3.org/Protocols/rfc2616/rfc2616-sec9.html#sec9.5 bei soap...

Baron Münchhausen. 09. Nov 2011

Der Crawler müsste schon mehr als Ajax kennen, da bei einer ordentlichen Lösung das XHR...

damnit.exe 02. Nov 2011

Weil sie in erster Linie Luftfahrtgesellschaften und keine IT-Unternehmen sind! Schlecht...

Vollstrecker 02. Nov 2011

Wird doch gerne auch in Foren genutzt um z.B. Spoiler, große Bilder, etc. einzubinden.

Schattenwerk 02. Nov 2011

Ich habe es mit Google versucht, jedoch keinen Erfolg gehabt. Bin lediglich auf einen...



Aktuell auf der Startseite von Golem.de
New World im Test
Amazon liefert ordentlich Abenteuer

Konkurrenz für World of Warcraft und Final Fantasy 14: Amazon Games macht mit dem PC-MMORPG New World momentan vor allem Sammler glücklich.
Von Peter Steinlechner

New World im Test: Amazon liefert ordentlich Abenteuer
Artikel
  1. Nasa: Sonde Lucy erfolgreich zu Jupiter-Asteroiden gestartet
    Nasa
    Sonde Lucy erfolgreich zu Jupiter-Asteroiden gestartet

    Erstmals sollen Asteroiden in der Umlaufbahn des Jupiter untersucht werden. Der Start der Raumsonde Lucy ist laut Nasa geglückt.

  2. Pornoplattform: Journalisten wollen Xhamster-Eigentümer gefunden haben
    Pornoplattform
    Journalisten wollen Xhamster-Eigentümer gefunden haben

    Xhamster ist und bleibt Heimat für zahlreiche rechtswidrige Inhalte. Doch ohne zu wissen, wer profitiert, wusste man bisher auch nicht, wer verantwortlich ist.

  3. Whatsapp: Vater bekommt wegen eines Nacktfotos Ärger mit Polizei
    Whatsapp
    Vater bekommt wegen eines Nacktfotos Ärger mit Polizei

    Ein Vater nutzte ein 15 Jahre altes Nacktfoto seines Sohnes als Statusfoto bei Whatsapp. Nun läuft ein Kinderpornografie-Verfahren.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Cyber Week: Bis zu 40€ Rabatt auf Samsung-SSDs • ADATA XPG Spectrix D55 16-GB-Kit 3200 56,61€ • Crucial P5 Plus 1 TB 129,99€ • Kingston NV1 500 GB 35,99€ • Creative Sound BlasterX G5 89,99€ • Alternate (u. a. AKRacing Core SX 248,99€) • Gamesplanet Anniv. Sale Classic & Retro [Werbung]
    •  /