Abo
  • Services:
Anzeige

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Anzeige

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.


eye home zur Startseite
RoyalSlurm 15. Apr 2008

Royal Slurm!



Anzeige

Stellenmarkt
  1. Bechtle GmbH IT-Systemhaus, Nürtingen
  2. Jetter AG, Ludwigsburg
  3. über Baumann Unternehmensberatung AG, Düsseldorf
  4. SysTec Systemtechnik und Industrieautomation GmbH, Bergheim-Glessen


Anzeige
Blu-ray-Angebote
  1. 29,99€ (Vorbesteller-Preisgarantie)
  2. (u. a. Reign, Person of Interest, Gossip Girl, The Clone Wars)
  3. (u. a. Hobbit Trilogie Blu-ray 43,89€ und Batman Dark Knight Trilogy Blu-ray 17,99€)

Folgen Sie uns
       


  1. Mass Effect

    Bioware erklärt Arbeit an Kampagne von Andromeda für beendet

  2. Kitkat-Werbespot

    Atari verklagt Nestlé wegen angeblichem Breakout-Imitat

  3. Smarter Lautsprecher

    Google Home erhält Bluetooth-Zuspielung und Spotify Free

  4. Reverb

    Smartphone-App aktiviert Alexa auf Zuruf

  5. Bildbearbeitung

    Google-Algorithmus entfernt Wasserzeichen auf Fotos

  6. Ladestationen

    Regierung lehnt Zwangsverkabelung von Tiefgaragen ab

  7. Raspberry Pi

    Raspbian auf Stretch upgedated

  8. Trotz Förderung

    Breitbandausbau kommt nur schleppend voran

  9. Nvidia

    Keine Volta-basierten Geforces in 2017

  10. Grafikkarte

    Sonnets eGFX Breakaway Box kostet 330 Euro



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Orange Pi 2G IoT ausprobiert: Wir bauen uns ein 20-Euro-Smartphone
Orange Pi 2G IoT ausprobiert
Wir bauen uns ein 20-Euro-Smartphone
  1. Odroid HC-1 Bastelrechner besser stapeln im NAS
  2. Bastelrechner Nano Pi im Test Klein, aber nicht unbedingt oho

Mitmachprojekt: HTTPS vermiest uns den Wetterbericht
Mitmachprojekt
HTTPS vermiest uns den Wetterbericht

Breitbandausbau auf Helgoland: Deutschlands Hochseefelsen bekommt nur Vectoring
Breitbandausbau auf Helgoland
Deutschlands Hochseefelsen bekommt nur Vectoring
  1. Provider Dreamhost will keine Daten von Trump-Gegnern herausgeben
  2. Home Sharing Airbnb wehrt sich gegen Vorwürfe zu Großanbietern
  3. Illegale Waffen Migrantenschreck gibt es wieder - jetzt als Betrug

  1. Menschen werden tatsächlich immer dümmer...

    ssj3rd | 15:44

  2. Re: Upgedated???

    Fjunchclick | 15:41

  3. Re: Ich bin für die zwangsweise Verlegung der...

    fuzzy | 15:40

  4. Re: Es gibt einen grundsätzlichen Denkfehler bei...

    Oktavian | 15:31

  5. Widgets

    mannimacker | 15:29


  1. 13:33

  2. 13:01

  3. 12:32

  4. 11:50

  5. 14:38

  6. 12:42

  7. 11:59

  8. 11:21


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel