Abo
  • Services:

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Artikel veröffentlicht am ,

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Stellenmarkt
  1. Rational AG, Landsberg am Lech
  2. ING-DiBa AG, Frankfurt am Main

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.



Anzeige
Hardware-Angebote
  1. 119,90€
  2. (reduzierte Überstände, Restposten & Co.)

RoyalSlurm 15. Apr 2008

Royal Slurm!


Folgen Sie uns
       


Google Pixel 3 XL - Test

Das Pixel 3 XL ist eines von zwei neuen Smartphones von Google. Das Gerät soll dank Algorithmen besonders gute Fotos machen - in unserem Test kann Google dieses Versprechen aber nur bedingt halten.

Google Pixel 3 XL - Test Video aufrufen
Nach Skandal-Rede: Verschwörungstheoretiker Maaßen in den Ruhestand versetzt
Nach Skandal-Rede
"Verschwörungstheoretiker" Maaßen in den Ruhestand versetzt

Aus dem Wechsel ins Innenministerium wird nun doch nichts. Innenminister Seehofer kann an Verfassungsschutzchef Maaßen nach einer umstrittenen Rede nicht mehr festhalten.

  1. Geheimdienstkontrolle Maaßens Rede wurde von Whistleblower geleakt
  2. Koalitionsstreit beendet Maaßen wird Sonderberater Seehofers
  3. Nach Chemnitz-Äußerungen Seehofer holt sich Verfassungsschutzchef Maaßen

Agilität: Wenn alle bestimmen, wo es langgeht
Agilität
Wenn alle bestimmen, wo es langgeht

Agiles Arbeiten ist, als ob viele Menschen gemeinsam ein Auto fahren. Aber wie soll das gehen und endet das nicht im Riesenchaos?
Von Marvin Engel

  1. Software-Entwickler CDU will Online-Weiterbildung à la Netflix
  2. Bundesagentur für Arbeit Ausbildungsplätze in der Informatik sind knapp
  3. IT-Jobs "Jedes Unternehmen kann es besser machen"

KEF LSX angehört: Neue Streaming-Lautsprecher mit voluminösem Klang
KEF LSX angehört
Neue Streaming-Lautsprecher mit voluminösem Klang

Mit dem LSX hat der britische Edellautsprecherhersteller KEF ein für seine Größe überraschend voluminös klingendes Streaming-Lautsprecherset vorgestellt. Bei einer ersten Hörprobe sind uns die gut getrennten Frequenzen und die satten Tiefen positiv aufgefallen - der Preis scheint uns gerechtfertigt.
Ein Hands on von Tobias Költzsch

  1. Videostreaming Warner plant Konkurrenz für Netflix und Disney
  2. Streaming Netflix erzeugt 15 Prozent des globalen Downloads
  3. Streaming Plex macht seine Cloud dicht

    •  /