Abo
  • Services:
Anzeige

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Anzeige

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.


eye home zur Startseite
RoyalSlurm 15. Apr 2008

Royal Slurm!



Anzeige

Stellenmarkt
  1. Engelhorn KGaA, Mannheim
  2. IT Services mpsna GmbH, Herten
  3. LogPay Financial Services GmbH, Eschborn
  4. MBtech Group GmbH & Co. KGaA, Stuttgart


Anzeige
Top-Angebote
  1. (heute u. a. mit LG TVs, DX Racer Stühlen und reduzierten Blu-ray-Neuheiten)
  2. (u. a. Sony Xperia L1 für 139€)
  3. 139€

Folgen Sie uns
       


  1. Bundestagswahl 2017

    Union und SPD verlieren, Jamaika-Koalition rückt näher

  2. IFR

    Zahl der verkauften Haushaltsroboter steigt stark an

  3. FTTH

    CDU für Verkauf der Telekom-Aktien

  4. Konkurrenz

    Unitymedia gegen Bürgerprämie für Glasfaser

  5. Arduino MKR GSM und WAN

    Mikrocontroller-Boards überbrücken weite Funkstrecken

  6. Fahrdienst

    London stoppt Uber, Protest wächst

  7. Facebook

    Mark Zuckerberg lenkt im Streit mit Investoren ein

  8. Merged-Reality-Headset

    Intel stellt Project Alloy ein

  9. Teardown

    Glasrückseite des iPhone 8 kann zum Problem werden

  10. E-Mail

    Adobe veröffentlicht versehentlich privaten PGP-Key im Blog



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Galaxy Note 8 im Test: Samsungs teure Dual-Kamera-Premiere
Galaxy Note 8 im Test
Samsungs teure Dual-Kamera-Premiere
  1. Galaxy S8 und Note 8 Bixby-Button lässt sich teilweise deaktivieren
  2. Videos Youtube bringt HDR auf Smartphones
  3. Galaxy Note 8 im Hands on Auch das Galaxy Note sieht jetzt doppelt - für 1.000 Euro

Zukunft des Autos: "Unsere Elektrofahrzeuge sollen typische Porsche sein"
Zukunft des Autos
"Unsere Elektrofahrzeuge sollen typische Porsche sein"
  1. Concept EQA Mercedes elektrifiziert die Kompaktklasse
  2. GLC F-Cell Mercedes stellt SUV mit Brennstoffzelle und Akku vor
  3. ID Crozz VW stellt elektrisches Crossover vor

Inspiron 5675 im Test: Dells Ryzen-Gaming-PC reicht mindestens bis 2020
Inspiron 5675 im Test
Dells Ryzen-Gaming-PC reicht mindestens bis 2020
  1. Android 8.0 im Test Fertig oder nicht fertig, das ist hier die Frage
  2. Logitech Powerplay im Test Die niemals leere Funk-Maus
  3. Polar vs. Fitbit Duell der Schlafexperten

  1. Re: Und bei DSL?

    Matty194 | 21:42

  2. Re: Endlich Reißleine ziehen.

    Ovaron | 21:40

  3. Re: Wir ueberlegen seit langem den Kauf

    Avarion | 21:29

  4. Re: CDU, AfD und FDP - Bahamas Koalition

    Willi13 | 21:25

  5. Re: Die letzte Meile

    Ovaron | 21:24


  1. 19:04

  2. 15:18

  3. 13:34

  4. 12:03

  5. 10:56

  6. 15:37

  7. 15:08

  8. 14:28


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel