Abo
  • Services:
Anzeige

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Anzeige

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.


eye home zur Startseite
RoyalSlurm 15. Apr 2008

Royal Slurm!



Anzeige

Stellenmarkt
  1. operational services GmbH & Co. KG, verschiedene Standorte
  2. DATAGROUP Köln GmbH, Starnberg bei München
  3. equensWorldline GmbH, Aachen
  4. Winkelmann Group GmbH + Co. KG, Ahlen


Anzeige
Blu-ray-Angebote
  1. 16,99€ (ohne Prime bzw. unter 29€ Einkauf + 3€ Versand)
  2. 13,98€ + 5,00€ Versand
  3. (u. a. Reign, Person of Interest, Gossip Girl, The Clone Wars)

Folgen Sie uns
       


  1. Digital Paper DPT-RP1

    Sonys neuer E-Paper-Notizblock wird 700 US-Dollar kosten

  2. USB Typ C Alternate Mode

    Thunderbolt-3-Docks von Belkin und Elgato ab Juni

  3. Sphero Lightning McQueen

    Erst macht es Brummbrumm, dann verdreht es die Augen

  4. VLC, Kodi, Popcorn Time

    Mediaplayer können über Untertitel gehackt werden

  5. Engine

    Unity bekommt 400 Millionen US-Dollar Investorengeld

  6. Neuauflage

    Neues Nokia 3310 soll bei Defekt komplett ersetzt werden

  7. Surface Studio

    Microsofts Grafikerstation kommt nach Deutschland

  8. Polar

    Fitnesstracker A370 mit Tiefschlaf- und Pulsmessung

  9. Schutz

    Amazon rechtfertigt Sperrungen von Marketplace-Händlern

  10. CPU-Architektur

    RISC-V-Patches für Linux erstmals eingereicht



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Wanna Cry: Wo die NSA-Exploits gewütet haben
Wanna Cry
Wo die NSA-Exploits gewütet haben
  1. Deutsche Bahn Schadsoftware lässt Anzeigetafeln auf Bahnhöfen ausfallen
  2. Wanna Cry NSA-Exploits legen weltweit Windows-Rechner lahm
  3. Mc Donald's Fatboy-Ransomware nutzt Big-Mac-Index zur Preisermittlung

Komplett-PC Corsair One Pro im Test: Kompakt, kräftig, kühl
Komplett-PC Corsair One Pro im Test
Kompakt, kräftig, kühl
  1. Corsair One Pro Doppelt wassergekühlter SFF-Rechner kostet 2.500 Euro

Elektromobilität: Wie kommt der Strom in die Tiefgarage?
Elektromobilität
Wie kommt der Strom in die Tiefgarage?
  1. Elektroauto Tesla gewährt rückwirkend Supercharger-Gratisnutzung
  2. Elektroautos Merkel hofft auf Bau von Batteriezellen in Deutschland
  3. Strategische Entscheidung Volvo setzt voll auf Elektro und trennt sich vom Diesel

  1. Re: OT Kreditkarte kostenlos und kostenlose...

    mikeone | 12:52

  2. Re: Ich benutze nur SubRip-Untertitel (.srt) ...

    derats | 12:51

  3. Re: Schon bezeichnend das illegale Addons in Kodi...

    deinkeks | 12:51

  4. Re: Warum überhaupt VLC nutzen

    __destruct() | 12:46

  5. Re: Ich werd es mir wohl kaufen oder gibt es...

    ArcherV | 12:45


  1. 10:10

  2. 09:59

  3. 09:00

  4. 18:58

  5. 18:20

  6. 17:59

  7. 17:44

  8. 17:20


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel