Anzeige

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Anzeige

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.


eye home zur Startseite
RoyalSlurm 15. Apr 2008

Royal Slurm!

captnrexx 15. Apr 2008

74.6.21.23 - - [15/Apr/2008:01:04:18 +0200] "GET /ahnen/wellhausen.shtml HTTP/1.0" 200...

Fry 15. Apr 2008

Mehr mehr mehr!!! *trink*

Augsburger 15. Apr 2008

Erinnert mich irgendwie an Schlupp, den kleinen Roboter der Augsburger Puppenkiste. :-)

Kommentieren



Anzeige

  1. Requirements Engineer (m/w) - Netzwerkinfrastruktur, IT-Security & Verbindungsmanagement
    Bosch Software Innovations GmbH, Waiblingen, Berlin
  2. Entwickler (m/w) für mobile Applikationen
    ckc group, Region Wolfsburg/Braunschweig
  3. Leitung IT-Prozesse / Anwendungen (m/w)
    ERDINGER Weißbräu, Erding
  4. Cloud-Architekt/in
    Robert Bosch GmbH, Stuttgart-Feuerbach

Detailsuche



Anzeige
Blu-ray-Angebote
  1. Steelbooks zum Aktionspreis
    (u. a. Game of Thrones Staffeln 1 u. 2 mit Magnetsiegeln für je 21,97€)
  2. Game of Thrones [dt./OV] Staffel 6
    (jeden Dienstag ist eine neue Folge verfügbar)
  3. TV-Serien Einstieg auf Blu-ray reduziert
    (u. a. Arrow, Hannibal, The Originals, Banshee, The Big Bang Theory, Silicon Valley)

Weitere Angebote


Folgen Sie uns
       


  1. Apple Store

    Apple darf keine Geschäfte in Indien eröffnen

  2. Mitsubishi MRJ90 und MRJ70

    Japans Regionaljet ist erst der Anfang

  3. Keysweeper

    FBI warnt vor Spion in USB-Ladegerät

  4. IBM-Markenkooperation

    Warum Watson in die Sesamstraße zieht

  5. Elektromobilität

    Portalbus soll Staus überfahren

  6. Vor dem Oneplus-Three-Start

    Oneplus senkt Preise seiner Smartphones

  7. Mobilfunk

    Vodafone führt Wi-Fi-Calling in Deutschland ein

  8. Xbox Scorpio

    Schneller als Playstation Neo und mit Rift-Unterstützung

  9. Android-Updates

    Google will säumige Gerätehersteller bloßstellen

  10. Elektroauto

    Teslas sind 160 Millionen Kilometer per Autopilot gefahren



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Xiaomi Mi5 im Test: Das fast perfekte Top-Smartphone
Xiaomi Mi5 im Test
Das fast perfekte Top-Smartphone
  1. YI 4K Xiaomi greift mit 4K-Actionkamera GoPro an

Hyperloop Global Challenge: Jeder will den Rohrpostzug
Hyperloop Global Challenge
Jeder will den Rohrpostzug
  1. Hyperloop HTT will seine Rohrpostzüge aus Marvel-Material bauen
  2. Hyperloop One Der Hyperloop fährt - wenn auch nur kurz
  3. Inductrack Hyperloop schwebt ohne Strom

Doom im Test: Die beste blöde Ballerorgie
Doom im Test
Die beste blöde Ballerorgie
  1. id Software Doom wird Vulkan unterstützen
  2. Id Software PC-Spieler müssen 45 GByte von Steam laden
  3. id Software Dauertod in Doom

  1. Re: Dann soll Google ihr Android Update System...

    Mingfu | 12:42

  2. Re: Falscher Ansatz

    Noro_Eisenheim | 12:42

  3. Re: Die schwächsten Konsolen der Geschichte ?

    No name089 | 12:42

  4. Re: Nach wie vor an der Realität vorbei

    spezi | 12:41

  5. Re: Alle 20 Minuten?

    der_wahre_hannes | 12:41


  1. 12:30

  2. 12:04

  3. 12:03

  4. 11:30

  5. 10:55

  6. 10:39

  7. 10:35

  8. 09:31


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel