Suchmaschine: Googles Crawler lernt Ajax

Mit dem Erfolg von Javascript und dem Ajax-Paradigma wird das Web für Suchmaschinen komplizierter. Google hat nun seinen Crawler angepasst, um auch Seiten indexieren zu können, die POST-Requests verwenden.

Artikel veröffentlicht am ,
Googlebot sendet POST-Requests.
Googlebot sendet POST-Requests. (Bild: Karen Bleier/AFP/Getty Images)

Immer mehr Seiten laden Inhalte per Javascript nach und verwenden dabei POST-Requests. Der Ansatz macht das Web für Nutzer schneller, für Suchmaschinen aber viel komplizierter, denn ihre Crawler können die so nachgeladenen Inhalte nicht erfassen. Das hat zur Folge, dass Inhalte solcher Websites nicht auffindbar sind.

Google hat nun seinen Crawler Googlebot angepasst, um auch über einen POST-Request nachgeladene Inhalte erfassen zu können. Google rät zwar weiterhin dazu, auf GET-Requests zu setzen, kann nun aber auch POST-Anfragen senden, um Inhalte zu erfassen, die auf diese Art und Weise nachgeladen werden. Googlebot macht das aber nur dann, wenn davon auszugehen ist, dass dies keine Probleme verursacht. Es geht Google darum, die Inhalte so abzurufen, wie sie auch die Nutzer zu Gesicht bekommen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


YoungManKlaus 09. Nov 2011

rfc lesen und so http://www.w3.org/Protocols/rfc2616/rfc2616-sec9.html#sec9.5 bei soap...

Baron Münchhausen. 09. Nov 2011

Der Crawler müsste schon mehr als Ajax kennen, da bei einer ordentlichen Lösung das XHR...

damnit.exe 02. Nov 2011

Weil sie in erster Linie Luftfahrtgesellschaften und keine IT-Unternehmen sind! Schlecht...

Vollstrecker 02. Nov 2011

Wird doch gerne auch in Foren genutzt um z.B. Spoiler, große Bilder, etc. einzubinden.



Aktuell auf der Startseite von Golem.de
Updates für GPT-3 und GPT-4
GPT im Geschwindigkeitsrausch

OpenAIs Updates für GPT-4 und GPT-3 machen die Modelle zuverlässiger, vor allem aber anpassungsfähiger. Die Änderungen und neuen Features im Detail.
Von Fabian Deitelhoff

Updates für GPT-3 und GPT-4: GPT im Geschwindigkeitsrausch
Artikel
  1. Donald E. Knuth: 30 Jahre Weihnachtsvorlesungen frei verfügbar
    Donald E. Knuth
    30 Jahre Weihnachtsvorlesungen frei verfügbar

    Ein bisschen theoretische Informatik, Algorithmen oder Mathematik zu Weihnachten? Wer das mag, kann nun sogar alle Vorlesungen hintereinander ansehen.

  2. Star Wars: Holiday Special jetzt in 4K mit 60 fps
    Star Wars
    Holiday Special jetzt in 4K mit 60 fps

    Eine bessere Story bekommt der legendär schlechte Film dadurch leider nicht. Bis heute lieben ihn einige Fans aber vor allem wegen seiner Absurdität.

  3. Datenschutz: ChatGPT-Exploit findet E-Mail-Adressen von Times-Reportern
    Datenschutz
    ChatGPT-Exploit findet E-Mail-Adressen von Times-Reportern

    Eigentlich sollte der Chatbot auf diese Anfrage gar nicht antworten. Tut er es dennoch, lauern womöglich noch viel brisantere Informationen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    • Daily Deals • TeamGroup Cardea Graphene A440 2 TB mit zwei Kühlkörpern 112,89€ • Logitech G915 TKL LIGHTSYNC RGB 125,11€ • AVM FRITZ!Repeater 3000 AX 129€ • Philips Ambilight 77OLED808 2.599€ • MindStar: Patriot Viper VENOM 64 GB DDR5-6000 159€, XFX RX 7900 XT Speedster MERC 310 Black 789€ [Werbung]
    •  /