Abo
  • Services:
Anzeige

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Anzeige

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.


eye home zur Startseite
RoyalSlurm 15. Apr 2008

Royal Slurm!



Anzeige

Stellenmarkt
  1. Robert Bosch GmbH, Leonberg
  2. Robert Bosch GmbH, Abstatt
  3. Neoperl GmbH, Müllheim
  4. Continental AG, Markdorf


Anzeige
Spiele-Angebote
  1. 349,99€
  2. 299,00€

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Unternehmensweites Dokumenten- und Wissensmanagement


  1. Ransomware

    Trojaner Fantom gaukelt kritisches Windows-Update vor

  2. Megaupload

    Gericht verhandelt über Dotcoms Auslieferung an die USA

  3. Observatory

    Mozilla bietet Sicherheitscheck für Websites

  4. Teilzeitarbeit

    Amazon probiert 30-Stunden-Woche aus

  5. Archos

    Neues Smartphone mit Fingerabdrucksensor für 150 Euro

  6. Sicherheit

    Operas Server wurden angegriffen

  7. Maru

    Quellcode von Desktop-Android als Open Source verfügbar

  8. Linux

    Kernel-Sicherheitsinitiative wächst "langsam aber stetig"

  9. VR-Handschuh

    Dexta Robotics' Exoskelett für Motion Capturing

  10. Dragonfly 44

    Eine Galaxie fast ganz aus dunkler Materie



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Radeon RX 460: AMDs kleinste Polaris-Karte braucht mehr Speicher
Radeon RX 460
AMDs kleinste Polaris-Karte braucht mehr Speicher
  1. Polaris-Grafikkarten Neuer Treiber steigert Bildrate in Tomb Raider
  2. Polaris-Grafikkarten AMD stellt Radeon RX 470 und RX 460 vor
  3. Radeon Pro SSG AMD zeigt Profi-Karte mit SSDs für ein TByte Videospeicher

Radeon RX 470 im Test: Die 1080p-Karte für High statt Ultra
Radeon RX 470 im Test
Die 1080p-Karte für High statt Ultra
  1. Radeons RX 480 Die Designs von AMDs Partnern takten höher - und konstanter
  2. Radeon Software 16.7.2 Neuer Grafiktreiber macht die RX 480 etwas schneller
  3. Radeon RX 480 erneut vermessen Treiber reduziert Stromstärke auf PEG-Slot

Garmin Vivosmart HR+ im Hands on: Das Sport-Computerchen
Garmin Vivosmart HR+ im Hands on
Das Sport-Computerchen
  1. Polar M600 Sechs LEDs für eine Pulsmessung
  2. Kluge Uhren Weltweiter Smartwatch-Markt bricht um ein Drittel ein
  3. Garmin Edge 820 Radcomputer zeigt Position der Tourbegleiter

  1. Re: Jetzt ist sie raus. Ich habe mehr erwartet.

    t3st3rst3st | 18:26

  2. Re: ja, leider

    Silberfan | 18:23

  3. Re: Desktop-Android - Clickbait at it's best!

    redbullface | 18:18

  4. Re: WC`ehn müsste Linux mittelfristg (ab 2020)

    Silberfan | 18:11

  5. Re: Handzeichen ist trotzdem Pflicht

    daniel_m | 18:05


  1. 13:49

  2. 12:46

  3. 11:34

  4. 15:59

  5. 15:18

  6. 13:51

  7. 12:59

  8. 15:33


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel