Abo
  • Services:
Anzeige

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Anzeige

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.


eye home zur Startseite
RoyalSlurm 15. Apr 2008

Royal Slurm!



Anzeige

Stellenmarkt
  1. SICK AG, Hamburg
  2. Allianz Deutschland AG, Stuttgart
  3. Bosch Software Innovations GmbH, Waiblingen
  4. operational services GmbH & Co. KG, Berlin, Frankfurt a. M., Zwickau, Nürnberg, Dresden


Anzeige
Top-Angebote
  1. mit Gutscheincode PLUSFEB (max. Rabatt 50€)
  2. zusammen nur 3,99€

Folgen Sie uns
       


  1. Raumfahrt

    Falsch abgebogen wegen Eingabefehler

  2. Cloud

    AWS bringt den Appstore für Serverless-Software

  3. Free-to-Play-Strategie

    Total War Arena beginnt den Betabetrieb

  4. Funkchip

    US-Grenzbeamte können Pass-Signaturen nicht prüfen

  5. Telekom-Chef

    "Sorry! Da ist mir der Gaul durchgegangen"

  6. WD20SPZX

    Auch Western Digital bringt flache 2-TByte-HDD

  7. Metal Gear Survive im Test

    Himmelfahrtskommando ohne Solid Snake

  8. Cloud IoT Core

    Googles Cloud verwaltet weltweit IoT-Anlagen

  9. Schweden

    Netzbetreiber bietet 10 GBit/s für 45 Euro

  10. Reverse Engineering

    Das Xiaomi-Ökosystem vom Hersteller befreien



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Freier Media-Player: VLC 3.0 eint alle Plattformen
Freier Media-Player
VLC 3.0 eint alle Plattformen

Fujitsu Lifebook U727 im Test: Kleines, blinkendes Anschlusswunder
Fujitsu Lifebook U727 im Test
Kleines, blinkendes Anschlusswunder
  1. Palmsecure Windows Hello wird bald Fujitsus Venenscanner unterstützen
  2. HP und Fujitsu Mechanischer Docking-Port bleibt bis 2019
  3. Stylistic Q738 Fujitsus 789-Gramm-Tablet kommt mit vielen Anschlüssen

Razer Kiyo und Seiren X im Test: Nicht professionell, aber schnell im Einsatz
Razer Kiyo und Seiren X im Test
Nicht professionell, aber schnell im Einsatz
  1. Stereolautsprecher Razer Nommo "Sind das Haartrockner?"
  2. Nextbit Cloud-Speicher für Robin-Smartphone wird abgeschaltet
  3. Razer Akku- und kabellose Spielemaus Mamba Hyperflux vorgestellt

  1. Re: Schuster, bleib bei deinem Leisten.

    bombinho | 02:56

  2. Re: Meine Ansicht zu dem Ganzen:

    tangonuevo | 02:48

  3. Re: maximaler Azimut ist minimale Inklination

    nkdvhn | 02:18

  4. Re: Ohne Smart Funktion ist für...

    LinuxMcBook | 02:13

  5. Re: Das sagt eine Schlange auch

    teenriot* | 02:03


  1. 17:17

  2. 16:50

  3. 16:05

  4. 15:45

  5. 15:24

  6. 14:47

  7. 14:10

  8. 13:49


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel