Abo
  • Services:
Anzeige

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Anzeige

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.


eye home zur Startseite
RoyalSlurm 15. Apr 2008

Royal Slurm!



Anzeige

Stellenmarkt
  1. Vodafone GmbH, Unterföhring, Frankfurt-Rödelheim
  2. Schaeffler Technologies AG & Co. KG, Herzogenaurach
  3. GERMANIA Fluggesellschaft mbH, Berlin-Tegel
  4. BRUNATA Wärmemesser GmbH & Co. KG, München


Anzeige
Hardware-Angebote
  1. 89,90€ + 3,99€ Versand
  2. ab 189,00€ im PCGH-Preisvergleich
  3. (täglich neue Deals)

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Praxiseinsatz, Nutzen und Grenzen von Hadoop und Data Lakes
  2. Wettbewerbsfaktor Analytics im Internet der Dinge.
  3. Leitfaden für den gezielten Einsatz von SAP HANA


  1. Delid Die Mate 2

    Prozessoren köpfen leichter gemacht

  2. Rückzieher

    Assange will nun doch nicht in die USA

  3. Oracle

    Critical-Patch-Update schließt 270 Sicherheitslücken

  4. Android 7.0

    Samsung verteilt Nougat-Update für S7-Modelle

  5. Forcepoint

    Carbanak nutzt Google-Dienste für Malware-Hosting

  6. Fabric

    Google kauft Twitters App-Werkzeuge mit Milliarden Nutzern

  7. D-Link

    Büro-Switch mit PoE-Passthrough - aber wenig Anschlüssen

  8. Flash und Reader

    Adobe liefert XSS-Lücke als Sicherheitsupdate

  9. GW4 und Mont-Blanc-Projekt

    In Europa entstehen zwei ARM-Supercomputer

  10. Kabelnetz

    Vodafone stellt Bayern auf 1 GBit/s um



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Glasfaser: Nun hängt die Kabel doch endlich auf!
Glasfaser
Nun hängt die Kabel doch endlich auf!
  1. Fake News Für Facebook wird es hässlich
  2. Nach Angriff auf Telekom Mit dem Strafrecht Router ins Terrorcamp schicken oder so
  3. Soziales Netzwerk Facebook wird auch Instagram kaputt machen

Western Digital Pidrive im Test: Festplatte am Raspberry Pi leicht gemacht
Western Digital Pidrive im Test
Festplatte am Raspberry Pi leicht gemacht
  1. Sopine A64 Weiterer Bastelrechner im Speicherriegel-Format erscheint
  2. Bootcode Freie Firmware für Raspberry Pi startet Linux-Kernel
  3. Raspberry Pi Compute Module 3 ist verfügbar

Autonomes Fahren: Wenn die Strecke dem Zug ein Telegramm schickt
Autonomes Fahren
Wenn die Strecke dem Zug ein Telegramm schickt
  1. Fahrgastverband "WLAN im Zug funktioniert ordentlich"
  2. Deutsche Bahn WLAN im ICE wird kostenlos
  3. Mobilfunk Telekom baut LTE an Regionalbahnstrecken aus

  1. Re: Ein vom Provider gemanagter Router hat mehr...

    Schattenwerk | 00:21

  2. Re: Eine andere Zielgruppe bleibt wohl kaum noch...

    Schattenwerk | 00:15

  3. Fertig kaufen

    Crass Spektakel | 00:15

  4. Re: Wie peinlich.

    Schattenwerk | 00:13

  5. Re: Dumm ist er nicht.

    maze_1980 | 00:05


  1. 18:28

  2. 18:07

  3. 17:51

  4. 16:55

  5. 16:19

  6. 15:57

  7. 15:31

  8. 15:21


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel