Abo
  • Services:

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Artikel veröffentlicht am ,

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Stellenmarkt
  1. Vector Informatik GmbH, Stuttgart
  2. DFN-CERT Services GmbH, Hamburg

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.



Anzeige
Top-Angebote
  1. (u. a. B360-Pro Gaming WiFi für 96,89€ statt 112,99€ im Vergleich und X470-Plus Gaming für...
  2. (u. a. MU9009 55-Zoll-Curved für 929€ statt ca. 1.100€ im Vergleich)

RoyalSlurm 15. Apr 2008

Royal Slurm!


Folgen Sie uns
       


God of War (2018) - Fazit

Viele langjährige Fans von Kratos dürften beim neuen God of War erst mal vom Glauben abfallen. Der Neue hat aber auf eigenständige Art ebenfalls das Zeug zum Kulthelden.

God of War (2018) - Fazit Video aufrufen
Kailh KS-Switch im Test: Die bessere Alternative zu Cherrys MX Blue
Kailh KS-Switch im Test
Die bessere Alternative zu Cherrys MX Blue

Der chinesische Hersteller Kailh fertigt seit fast 30 Jahren verschiedenste Arten von Schaltern, unter anderem auch Klone von Cherry-MX-Switches für Tastaturen. Der KS-Switch mit goldenem Stempel und markantem Klick ist dabei die bessere Alternative zu Cherrys eigenem MX Blue, wie unser Test zeigt.
Ein Test von Tobias Költzsch

  1. Apple-Patent Krümel sollen Macbook-Tastatur nicht mehr stören
  2. Tastaturen Matias bringt Alternative zum Apple Wired Keyboard
  3. Rubberdome-Tastaturen im Test Das Gummi ist nicht dein Feind

Datenschutz-Grundverordnung: Was Unternehmen und Admins jetzt tun müssen
Datenschutz-Grundverordnung
Was Unternehmen und Admins jetzt tun müssen

Ab dem 25. Mai gilt europaweit ein neues Datenschutz-Gesetz, das für Unternehmen neue rechtliche Verpflichtungen schafft. Trotz der nahenden Frist sind viele IT-Firmen schlecht vorbereitet. Wir erklären, was auf Geschäftsführung und Admins zukommt.
Von Jan Weisensee

  1. IT-Konzerne Merkel kritisiert Pläne für europäische Digitalsteuer
  2. EU-Kommission Mehr Transparenz für Suchmaschinen und Online-Plattformen
  3. 2019 Schweiz beginnt UKW-Abschaltung

Xbox Adaptive Controller ausprobiert: 19 x Klinke, 1 x Controller, 0 x Probleme
Xbox Adaptive Controller ausprobiert
19 x Klinke, 1 x Controller, 0 x Probleme

Microsoft steigt in den Markt der zugänglichen Geräte ein. Der Xbox Adaptive Controller ermöglicht es Menschen mit temporärer oder dauerhafter Bewegungseinschränkung zu spielen, ohne enorm viel Geld auszugeben. Wir haben es auf dem Microsoft Campus in Redmond ausprobiert.
Von Andreas Sebayang

  1. Firmware Xbox One erhält Option für 120-Hz-Bildfrequenz
  2. AMD Freesync Xbox One erhält variable Bildraten
  3. Xbox One Streamer können Gamepad mit Spieler teilen

    •  /