Anzeige

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Anzeige

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.


eye home zur Startseite
RoyalSlurm 15. Apr 2008

Royal Slurm!

captnrexx 15. Apr 2008

74.6.21.23 - - [15/Apr/2008:01:04:18 +0200] "GET /ahnen/wellhausen.shtml HTTP/1.0" 200...

Fry 15. Apr 2008

Mehr mehr mehr!!! *trink*

Augsburger 15. Apr 2008

Erinnert mich irgendwie an Schlupp, den kleinen Roboter der Augsburger Puppenkiste. :-)

Kommentieren



Anzeige

  1. Medizininformatiker / Fachinformatiker (m/w) für Medizinische Informationssysteme
    Landeskrankenhaus (AöR), Andernach
  2. Abteilungsleiter IT (m/w)
    GAG Immobilien AG, Köln
  3. Fachanalyst/in
    Landeshauptstadt München, München
  4. Entwicklungsingenieur / Domain Product Owner / Planning & Realization / Software-Koordination GUI (m/w)
    Daimler AG, Sindelfingen

Detailsuche



Anzeige

Folgen Sie uns
       


  1. Le Eco

    Faraday Future plant autonomes Elektroauto

  2. Petition gegen Apple

    300.000 wehren sich gegen Ende der iPhone-Kopfhörerbuchse

  3. Battlefield 1 angespielt

    Zeppeline, Sperrfeuer und die Wiedergeburts-Spritze

  4. Förderung

    Telekom räumt ein, dass Fiber-To-The-Home billiger sein kann

  5. Procter & Gamble

    Windel meldet dem Smartphone, wenn sie voll ist

  6. AVM

    Routerfreiheit bringt Kabel-TV per WLAN auf mobile Geräte

  7. Oculus App

    Vive-Besitzer können wieder Rift-exklusive Titel spielen

  8. Elektroauto

    Supersportwagen BMW i8 soll 400 km rein elektrisch fahren

  9. Keine externen Monitore mehr

    Apple schafft Thunderbolt-Display ersatzlos ab

  10. Browser

    Safari 10 soll auch auf älteren OS-X-Versionen laufen



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Oneplus Three im Test: Ein Alptraum für die Android-Konkurrenz
Oneplus Three im Test
Ein Alptraum für die Android-Konkurrenz
  1. Android-Smartphone Diskussionen um Speichermanagement beim Oneplus Three
  2. Smartphones Oneplus soll keine günstigeren Modellreihen mehr planen
  3. Ohne Einladung Oneplus Three kommt mit 6 GByte RAM für 400 Euro

Smart City: Der Bürger gestaltet mit
Smart City
Der Bürger gestaltet mit
  1. Vernetztes Fahren Bosch will (fast) alle Parkplatzprobleme lösen

Vorratsdatenspeicherung: Vorgaben übertreffen laut Eco "schlimmste Befürchtungen"
Vorratsdatenspeicherung
Vorgaben übertreffen laut Eco "schlimmste Befürchtungen"
  1. Vorratsdatenspeicherung Alarm im VDS-Tresor
  2. Neue Snowden-Dokumente NSA lobte Deutschlands "wesentliche" Hilfe im Irak-Krieg
  3. Klage Verwaltungsgericht soll Vorratsdatenspeicherung stoppen

  1. Re: Dvb-c

    Bautz | 07:32

  2. Klinke Buchse alt? Nein!

    HûntStârJonny | 07:28

  3. Automatisches Licht - wirklich neu?

    NukeOperator | 07:27

  4. Re: nur mit origin...

    foobar_germany | 07:23

  5. Re: Und wie ist das mit der Routerfreiheit verbunden?

    Leseratte10 | 07:14


  1. 07:30

  2. 07:14

  3. 15:00

  4. 10:36

  5. 09:50

  6. 09:15

  7. 09:01

  8. 14:45


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel