Abo
  • Services:
Anzeige

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Anzeige

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.


eye home zur Startseite
RoyalSlurm 15. Apr 2008

Royal Slurm!



Anzeige

Stellenmarkt
  1. Völkl Sports GmbH & Co. KG, Straubing, Raum Regensburg / Deggendorf
  2. Kaufmännische Krankenkasse ? KKH, Hannover
  3. Fresenius Medical Care Deutschland GmbH, Bad Homburg
  4. Groz-Beckert KG, Albstadt


Anzeige
Top-Angebote
  1. (u. a. Apple-Produkte günstiger, z. B. Apple Watch Series 3 ab 345€ und iPhone 7 ab 559€)
  2. 429€
  3. (u. a. Forza 7 42€, Gears of War 4 19,99€, Halo Wars 2 19,99€, Halo Master Chief Collection...

Folgen Sie uns
       


  1. Die Woche im Video

    Zweiräder heben ab und ein Luftschiff kommt runter

  2. Autonomes Fahren

    Singapur kündigt fahrerlose Busse an

  3. Coinhive

    Kryptominingskript in Chat-Widget entdeckt

  4. Monster Hunter World angespielt

    Die Nahrungskettensimulation

  5. Rechtsunsicherheit bei Cookies

    EU warnt vor Verzögerung von ePrivacy-Verordnung

  6. Schleswig-Holstein

    Bundesland hat bereits 32 Prozent echte Glasfaserabdeckung

  7. Tesla Semi

    Teslas Truck gibt es ab 150.000 US-Dollar

  8. Mobilfunk

    Netzqualität in der Bahn weiter nicht ausreichend

  9. Bake in Space

    Bloß keine Krümel auf der ISS

  10. Sicherheitslücke

    Fortinet vergisst, Admin-Passwort zu prüfen



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Doom-Brettspiel-Neuauflage im Test: Action am Wohnzimmertisch
Doom-Brettspiel-Neuauflage im Test
Action am Wohnzimmertisch
  1. Doom, Wolfenstein, Minecraft Nintendo kriegt große Namen
  2. Gamedesign Der letzte Lebenspunkt hält länger

Cubesats: Startup steuert riesigen Satellitenschwarm von Berlin aus
Cubesats
Startup steuert riesigen Satellitenschwarm von Berlin aus
  1. SAEx Internet-Seekabel für Südatlantikinsel St. Helena
  2. The Cabin Satelliten-Internet statt 1 Million Euro an die Telekom
  3. Sputnik Piep, piep, kleiner Satellit

Coffee Lake vs. Ryzen: Was CPU-Multitasking mit Spielen macht
Coffee Lake vs. Ryzen
Was CPU-Multitasking mit Spielen macht
  1. Custom Foundry Intel will 10-nm-Smartphone-SoCs ab 2018 produzieren
  2. ARM-Prozessoren Macom verkauft Applied Micro
  3. Apple A11 Bionic KI-Hardware ist so groß wie mehrere CPU-Kerne

  1. Re: Sie hat völlig recht!

    Avarion | 10:24

  2. Re: ich frage mich ...

    egal | 10:20

  3. Re: Überleben durch Anzahlungen

    henry86 | 10:18

  4. Das Werbevideo ist zumindestens schon mal Müll

    eMvO | 10:17

  5. Re: Man stelle sich mal vor alle Berufsgruppen...

    ArcherV | 09:54


  1. 09:00

  2. 17:56

  3. 15:50

  4. 15:32

  5. 14:52

  6. 14:43

  7. 12:50

  8. 12:35


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel