Abo
  • Services:
Anzeige

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Anzeige

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.


eye home zur Startseite
RoyalSlurm 15. Apr 2008

Royal Slurm!

captnrexx 15. Apr 2008

74.6.21.23 - - [15/Apr/2008:01:04:18 +0200] "GET /ahnen/wellhausen.shtml HTTP/1.0" 200...

Fry 15. Apr 2008

Mehr mehr mehr!!! *trink*

Augsburger 15. Apr 2008

Erinnert mich irgendwie an Schlupp, den kleinen Roboter der Augsburger Puppenkiste. :-)



Anzeige

Stellenmarkt
  1. Bosch Communication Center Magdeburg GmbH, Magdeburg
  2. ROHDE & SCHWARZ GmbH & Co. KG, München
  3. Landesbetrieb IT.Niedersachsen, Hannover
  4. Robert Bosch GmbH, Leonberg


Anzeige
Hardware-Angebote
  1. (Core i5-6600K + Geforce GTX 1070 OC)
  2. (u. a. MSI Gaming X 8G, Evga ACX 3.0, Gainward Phoenix GS, Gigabyte G1 Gaming)
  3. (u. a. Asus GTX 1070 Strix OC, MSI GTX 1070 Gaming X 8G und Aero 8G OC)

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Mehr dazu im aktuellen Whitepaper von SAS Institute
  2. Mehr dazu im aktuellen Whitepaper von SAS Institute
  3. Mehr dazu im aktuellen Whitepaper von SAS Institute


  1. 3D-Foto-App

    Seene wird eingestellt

  2. Radeon Pro SSG

    AMD zeigt Profi-Karte mit SSDs für ein TByte Videospeicher

  3. iCar

    Hardware-Experte Bob Mansfield soll Apples Auto bauen

  4. Here

    Apple soll "geheimes" Maps-Labor in Berlin betreiben

  5. Quadro P6000/P5000

    Nvidia kündigt Profi-Karten mit GP102-Vollausbau an

  6. Jahresgehalt

    Erfahrene Softwareentwickler verdienen 55.500 Euro

  7. Sync 3

    Ford bringt Carplay und Android Auto in alle 2017er-Modelle

  8. Netzwerk

    Mehrere regionale Mobilfunkausfälle bei Vodafone

  9. Hello Games

    No Man's Sky braucht kein Plus und keine Superformel

  10. Master Key

    Hacker gelangen per Reverse Engineering an Gepäckschlüssel



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Xiaomi Mi Band 2 im Hands on: Fitness-Preisbrecher mit Hack-App
Xiaomi Mi Band 2 im Hands on
Fitness-Preisbrecher mit Hack-App
  1. Xiaomi Hugo Barra verkündet Premium-Smartphone
  2. Redmi 3S Xiaomis neues Smartphone kostet umgerechnet 95 Euro
  3. Mi Band 2 Xiaomis neues Fitness-Armband mit Pulsmesser kostet 20 Euro

Schwachstellen aufgedeckt: Der leichtfertige Umgang mit kritischen Infrastrukturen
Schwachstellen aufgedeckt
Der leichtfertige Umgang mit kritischen Infrastrukturen
  1. Vodafone EasyBox 804 Angeblich Hochladen von Schadsoftware möglich
  2. Cyber Grand Challenge Finale US-Militär lässt Computer als Hacker aufeinander los
  3. Patchday Sicherheitslücke lässt Drucker Malware verteilen

Core i7-6820HK: Das bringt CPU-Overclocking im Notebook
Core i7-6820HK
Das bringt CPU-Overclocking im Notebook
  1. Stresstest Futuremarks 3DMark testet Hardware auf Throttling

  1. Re: An sich richtig

    hellfire79 | 10:22

  2. Re: Wasserstoff günstig in Metall oder...

    RvdtG | 10:22

  3. Re: Ein Bezahlmodell pro Volumen wäre doch sinnvoll

    robinx999 | 10:21

  4. Re: Ich arbeite beim Staat (Öffentlicher Dienst)

    Zeussi | 10:20

  5. Re: Basisgehalt?

    Kleba | 10:20


  1. 10:19

  2. 10:10

  3. 07:37

  4. 07:18

  5. 22:45

  6. 18:35

  7. 17:31

  8. 17:19


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel