Abo
  • Services:

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Artikel veröffentlicht am ,

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Stellenmarkt
  1. Stuttgarter Straßenbahnen AG, Stuttgart
  2. Rentschler Biopharma SE, Laupheim

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.



Anzeige
Hardware-Angebote
  1. täglich neue Deals bei Alternate.de
  2. und Assassins Creed Odyssey, Strange Brigade und Star Control Origins kostenlos dazu erhalten
  3. 482,99€ inkl. Versand (aktuell günstigste GTX 1080)

RoyalSlurm 15. Apr 2008

Royal Slurm!


Folgen Sie uns
       


Huawei Matebook X Pro - Test

Das Matebook X Pro ist ein gutes 14-Zoll-Ultrabook mit sinnvollen Anschlüssen, guten Eingabegeräten sowie Intel-Quadcore und dedizierter Geforce-Grafik. Die eigenwillige Kamera aber gefällt nicht jedem.

Huawei Matebook X Pro - Test Video aufrufen
IT-Jobs: Achtung! Agiler Coach gesucht?
IT-Jobs
Achtung! Agiler Coach gesucht?

Überall werden sie gesucht, um den digitalen Wandel voranzutreiben: agile Coaches. In den Jobbeschreibungen warten spannende Aufgaben, jedoch müssen Bewerber aufpassen, dass sie die richtigen Fragen stellen, wenn sie etwas bewegen möchten.
Von Marvin Engel

  1. Studitemps Einige Studierende verdienen in der IT unter Mindestlohn
  2. SAP-Berater Der coolste Job nach Tourismusmanager und Bierbrauer
  3. Digital Office Index 2018 Jeder zweite Beschäftigte sitzt am Computer

Threadripper 2990WX und 2950X im Test: Viel hilft nicht immer viel
Threadripper 2990WX und 2950X im Test
Viel hilft nicht immer viel

Für Workstations: AMDs Threadripper 2990WX mit 32 Kernen schlägt Intels ähnlich teure 18-Core-CPU klar und der günstigere Threadripper 2950X hält noch mit. Für das Ryzen-Topmodell muss aber die Software angepasst sein und sie darf nicht zu viel Datentransferrate benötigen.
Ein Test von Marc Sauter

  1. 32-Kern-CPU Threadripper 2990WX läuft mit Radeons besser
  2. Threadripper 2990WX AMDs 32-Kerner kostet weniger als Intels 18-Kerner
  3. Zhongshan Subor Z+ AMD baut SoC mit PS4-Pro-Leistung für chinesische Konsole

Smartphone von Gigaset: Made in Bocholt
Smartphone von Gigaset
Made in Bocholt

Gigaset baut sein Smartphone GS185 in Bocholt - und verpasst dem Gerät trotz kompletter Anlieferung von Teilen aus China das Label "Made in Germany". Der Fokus auf die Region ist aber vorhanden, eine erweiterte Fertigung durchaus eine Option. Wir haben uns das Werk angeschaut.
Ein Bericht von Tobias Költzsch

  1. Bocholt Gigaset baut Smartphone in Deutschland

    •  /