• IT-Karriere:
  • Services:

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Artikel veröffentlicht am ,

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Stellenmarkt
  1. Allianz Deutschland AG, München,Unterföhring
  2. Bertrandt Ingenieurbüro GmbH Wolfsburg, Wolfsburg

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Top-Angebote
  1. Verkaufsstart RTX 3060 Ti um 15 Uhr
  2. 370,32€ (Bestpreis)
  3. (u. a. Edifier Studio R1280T Lautsprecher für 69,90€, Cooler Master MasterBox MB520 ARGB...
  4. (heute: Noblechairs Epic Java Edition Gaming Stuhl)

RoyalSlurm 15. Apr 2008

Royal Slurm!


Folgen Sie uns
       


Linux-Smartphone Pinephone im Test

Das Pinephone ist das erste echte Linux-Smartphone seit rund 5 Jahren und dazu noch von einer Community erstellt. Das ambitionierte Projekt scheitert letztlich aber an der Realität.

Linux-Smartphone Pinephone im Test Video aufrufen
Zenbook Flip UX371E im Test: Asus steht sich selbst im Weg
Zenbook Flip UX371E im Test
Asus steht sich selbst im Weg

Das Asus Zenbook Flip UX371E verbindet eines der besten OLED-Displays mit exzellenter Tastatur-Trackpad-Kombination. Wäre da nicht ein Aber.
Ein Test von Oliver Nickel

  1. Vivobook S14 S433 und S15 S513 Asus bringt Tiger-Lake-Notebooks ab 700 Euro
  2. Asus Expertbook P1 350-Euro-Notebook tauscht gutes Display gegen gesteckten RAM
  3. Asus Zenfone 7 kommt mit Dreifach-Klappkamera

Made in USA: Deutsche Huawei-Gegner schweigen zu Juniper-Hintertüren
Made in USA
Deutsche Huawei-Gegner schweigen zu Juniper-Hintertüren

Zu unbequemen Fragen schweigen die Transatlantiker Manuel Höferlin, Falko Mohrs, Metin Hakverdi, Norbert Röttgen und Friedrich Merz. Das wirkt unredlich.
Eine Recherche von Achim Sawall

  1. Sandworm Hacker nutzen alte Exim-Sicherheitslücke aus

No One Lives Forever: Ein Retrogamer stirbt nie
No One Lives Forever
Ein Retrogamer stirbt nie

Kompatibilitätsprobleme und schlimme Sprachausgabe - egal. Golem.de hat den 20 Jahre alten Shooter-Klassiker No One Lives Forever trotzdem neu gespielt.
Von Benedikt Plass-Fleßenkämper

  1. Heimcomputer Retro Games plant Amiga-500-Nachbau
  2. Klassische Spielkonzepte Retro, brandneu
  3. Gaming-Handheld Analogue Pocket erscheint erst 2021

    •  /