Abo
  • Services:
Anzeige

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Anzeige

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.


eye home zur Startseite
RoyalSlurm 15. Apr 2008

Royal Slurm!



Anzeige

Stellenmarkt
  1. McFIT GLOBAL GROUP GmbH, Berlin
  2. Robert Bosch GmbH, Stuttgart-Feuerbach
  3. Schaeffler Technologies AG & Co. KG, Nürnberg
  4. Robert Bosch GmbH, Ludwigsburg und Tamm


Anzeige
Top-Angebote
  1. 4,99€
  2. 299,90€ (UVP 649,90€)
  3. und bis zu 40 Euro Sofortrabatt erhalten

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Evolutionäre und rasante Veränderungen durch Industrie 4.0
  2. Unternehmensweites Dokumenten- und Wissensmanagement
  3. Potenzial und Geschäftsnutzen von Big Data Analytics


  1. Stiftung Warentest

    Mailbox und Posteo gewinnen Mailprovidertest

  2. Ausrüster

    Kein 5G-Supermobilfunk ohne Glasfasernetz

  3. SpaceX

    Warum Elon Musks Marsplan keine Science-Fiction ist

  4. Blau

    Prepaid-Kunden bekommen deutlich mehr Datenvolumen

  5. Mobilfunk

    Blackberry entwickelt keine Smartphones mehr

  6. Nvidia und Tomtom

    Besseres Cloud-Kartenmaterial für autonome Fahrzeuge

  7. Xavier

    Nvidias nächster Tegra soll extrem effizient sein

  8. 5G

    Ausrüster schweigen zu Dobrindts Supernetz-Ankündigung

  9. Techbold

    Gaming-PC nach Spiel, Auflösung und Framerate auswählen

  10. Besuch bei Dedrone

    Keine Chance für unerwünschte Flugobjekte



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Canon vs. Nikon: Superzoomer für unter 250 Euro
Canon vs. Nikon
Superzoomer für unter 250 Euro
  1. Snap Spectacles Snapchat stellt Sonnenbrille mit Kamera vor
  2. MacOS 10.12 Fujitsu warnt vor der Nutzung von Scansnap unter Sierra
  3. Bildbearbeitungs-App Prisma offiziell für Android erhältlich

DDoS: Das Internet of Things gefährdet das freie Netz
DDoS
Das Internet of Things gefährdet das freie Netz
  1. Hilfe von Google Brian Krebs' Blog ist nach DDoS-Angriff wieder erreichbar
  2. Picobrew Pico angesehen Ein Bierchen in Ehren ...
  3. Peak Smarte Lampe soll Nutzer zum Erfolg quatschen

MacOS 10.12 im Test: Sierra - Schreck mit System
MacOS 10.12 im Test
Sierra - Schreck mit System
  1. MacOS 10.12 Sierra fungiert als alleiniges Sicherheitsupdate für OS X
  2. MacOS Sierra und iOS 10 Apple schmeißt unsichere Krypto raus
  3. Kaspersky Neue Malware installiert Hintertüren auf Macs

  1. Re: Geringe Kosten oder hohe Reichweite?

    goto10 | 18:45

  2. Re: Codename XAVIER?

    -eichi- | 18:43

  3. Re: warum streamripper und nicht google?

    crazypsycho | 18:42

  4. Ich hätte lieber ein Modul...

    Vögelchen | 18:41

  5. Re: Fand solche Dienste eh etwas sinnlos

    Hello_World | 18:41


  1. 18:10

  2. 16:36

  3. 15:04

  4. 14:38

  5. 14:31

  6. 14:14

  7. 13:38

  8. 13:00


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel