Abo
  • Services:
Anzeige

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Anzeige

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.


eye home zur Startseite
RoyalSlurm 15. Apr 2008

Royal Slurm!



Anzeige

Stellenmarkt
  1. m:pro IT Consult GmbH, Wiesbaden
  2. TAMPOPRINT® AG, Korntal-Münchingen
  3. QSC AG, Hamburg
  4. Landkreis Lörrach, Lörrach


Anzeige
Blu-ray-Angebote
  1. 2,99€ (ohne Prime bzw. unter 29€ Einkauf zzgl. 3€ Versand)
  2. 29,99€ (Vorbesteller-Preisgarantie)
  3. (u. a. Space Jam 11,97€, Ex Machina 9,97€, Game of Thrones 3. Staffel 24,97€)

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Wettbewerbsfaktor Analytics im Internet der Dinge.
  2. Wissens-Guide und Kaufberatung für Cloud-Sicherheit
  3. Mehr dazu im aktuellen Whitepaper von Freudenberg IT


  1. Hardlight VR Suit

    Vibrations-Weste soll VR-Erlebnis realistischer machen

  2. Autonomes Fahren

    Der Truck lernt beim Fahren

  3. Selektorenaffäre

    BND soll ausländische Journalisten ausspioniert haben

  4. Kursanstieg

    Bitcoin auf neuem Rekordhoch

  5. Google-Steuer

    Widerstand gegen Leistungsschutzrecht auf EU-Ebene

  6. Linux-Kernel

    Torvalds droht mit Nicht-Aufnahme von Treibercode

  7. Airbus A320

    In Flugzeugen wird der Platz selbst für kleine Laptops knapp

  8. Urheberrecht

    Marketplace-Händler wegen Bildern von Amazon bestraft

  9. V8 Turbofan

    Neuer Javascript-Compiler für Chrome kommt im März

  10. Motion Control

    Kamerafahrten für die perfekte Illusion



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Limux: Die tragische Geschichte eines Leuchtturm-Projekts
Limux
Die tragische Geschichte eines Leuchtturm-Projekts
  1. Limux München prüft Rückkehr zu Windows
  2. Limux-Projekt Windows könnte München mehr als sechs Millionen Euro kosten
  3. Limux Münchner Stadtrat ignoriert selbst beauftragte Studie

Wacoms Intuos Pro Paper im Test: Weg mit digital, her mit Stift und Papier!
Wacoms Intuos Pro Paper im Test
Weg mit digital, her mit Stift und Papier!
  1. Wacom Brainwave Ein Graph sagt mehr als tausend Worte
  2. Canvas Dells Stift-Tablet bedient sich bei Microsoft und Wacom
  3. Intuos Pro Wacom verbindet Zeichentablet mit echtem Papier

Bundesnetzagentur: Puppenverbot gefährdet das Smart Home und Bastler
Bundesnetzagentur
Puppenverbot gefährdet das Smart Home und Bastler
  1. My Friend Cayla Eltern müssen Puppen ihrer Kinder zerstören
  2. Matoi Imagno Wenn die Holzklötzchen zu dir sprechen
  3. Smart Gurlz Programmieren lernen mit Puppen

  1. Re: Nungut, Laut dem Urteil muss der Händler nun...

    Moe479 | 07:58

  2. Re: Klasse, wie "open" dieses Open Source doch ist.

    Tiles | 07:55

  3. Re: First World Problems

    Icestorm | 07:55

  4. Re: Delays wegen Handgepäck, slightly OT

    Icestorm | 07:38

  5. Re: Bei 70cm dürfte der Sitz nur max. 2cm verbrauchen

    NaruHina | 07:33


  1. 18:02

  2. 17:43

  3. 16:49

  4. 16:21

  5. 16:02

  6. 15:00

  7. 14:41

  8. 14:06


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel