Abo
  • Services:
Anzeige

Yahoo schickt Slurp 3.0 ins Rennen

Neuer Crawler durchsucht das Netz für Yahoo

Yahoo hat seinen Crawler und die dahinterliegende Infrastruktur überarbeitet und schickt seinen Crawler Slurp nun in der Version 3.0 ins Netz. Im Vorfeld der Umstellung war es zu einigen ungewollten Unregelmäßigkeiten der Yahoo-Crawler gekommen.

Ende März 2008 hatten einige Nutzer berichtet, eine Vielzahl von Yahoo-Crawlern würde ihre Seiten besuchen. Von mehreren Hundert Crawl-Vorgängen pro Tag war die Rede, was Yahoo bestätigt und auf eine größere Umstellung seines Crawlers verwies. Dieser ist nun offiziell im Netz unterwegs.

Anzeige

Der Crawler Slurp 3.0 soll sich ähnlich verhalten wie sein Vorgänger, beachtet die Robots.txt, gibt sich aber in Logfiles als Slurp 3.0 zu erkennen. Webmaster, die ihre Crawl-Richtlinien explizit auf eine frühere Slurp-Version festgelegt haben, müssen diese anpassen. Gleiches gilt für Webmaster, die den Crawler anhand seiner IP-Adressen identifizieren, denn diese sind bei Slurp 3.0 andere. Yahoo empfiehlt, den Crawler anhand einer DNS-Revers-Abfrage zu identifizieren, nicht anhand der IP.

Welche Vorteile der neue Crawler bietet, verriet Yahoo nicht. Allerdings ist Yahoo dabei, seine Such-Infrastruktur auf Hadoop umzustellen, was große Effizienzgewinne verspricht. Gut möglich, dass die Crawler-Umstellung hiermit im Zusammenhang steht.


eye home zur Startseite
RoyalSlurm 15. Apr 2008

Royal Slurm!



Anzeige

Stellenmarkt
  1. Bosch SoftTec GmbH, Hildesheim
  2. Media-Saturn-Holding GmbH, Ingolstadt
  3. Landkreis Tübingen, Tübingen
  4. Formel D GmbH, München


Anzeige
Spiele-Angebote
  1. 9,49€
  2. 14,90€
  3. 34,99€

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Wege zur richtigen Daten-Monetarisierungs-Strategie
  2. Unternehmensweites Dokumenten- und Wissensmanagement
  3. Praxiseinsatz, Nutzen und Grenzen von Hadoop und Data Lakes


  1. Patent

    Samsung zeigt konkrete Ideen für faltbares Smartphone

  2. Smarter Lautsprecher

    Google will Home intelligenter machen

  3. Samsung 960 Evo im Test

    Die NVMe-SSD mit dem besten Preis-Leistungs-Verhältnis

  4. Projekt Titan

    Apple will Anti-Kollisionssystem für Autos patentieren

  5. Visualisierungsprogramm

    Microsoft bringt Visio für iOS

  6. Auftragsfertiger

    TSMC investiert 16 Milliarden US-Dollar in neue Fab

  7. Frontier Developments

    Weltraumspiel Elite Dangerous erscheint auch für die PS4

  8. Apple

    MacOS 10.12.2 soll Probleme beim neuen Macbook Pro beheben

  9. Smartphones

    iOS legt weltweit zu - außer in China und Deutschland

  10. Glasfaser

    EWE steckt 1 Milliarde Euro in Fiber To The Home



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Google, Apple und Mailaccounts: Zwei-Faktor-Authentifizierung richtig nutzen
Google, Apple und Mailaccounts
Zwei-Faktor-Authentifizierung richtig nutzen
  1. Bugs in Encase Mit dem Forensik-Tool die Polizei hacken
  2. Red Star OS Sicherheitslücke in Nordkoreas Staats-Linux
  3. 0-Day Tor und Firefox patchen ausgenutzten Javascript-Exploit

Steep im Test: Frei und einsam beim Bergsport
Steep im Test
Frei und einsam beim Bergsport
  1. PES 2017 Update mit Stadion und Hymnen von Borussia Dortmund
  2. Motorsport Manager im Kurztest Neustart für Sportmanager
  3. NBA 2K17 10.000 Schritte für Ingame-Boost

Kosmobits im Test: Tausch den Spielecontroller gegen einen Mikrocontroller!
Kosmobits im Test
Tausch den Spielecontroller gegen einen Mikrocontroller!
  1. HiFive 1 Entwicklerboard mit freiem RISC-Prozessor verfügbar
  2. Simatic IoT2020 Siemens stellt linuxfähigen Arduino-Klon vor
  3. Calliope Mini Mikrocontroller-Board für deutsche Schüler angekündigt

  1. Re: normale Schraubendreher...

    Niaxa | 10:33

  2. Re: Haha. Und was sagen die Apple-Basher jetzt?

    Blonny | 10:33

  3. Re: Sensoren die Hindernisse erkennen - GENIAL

    sundilsan | 10:32

  4. Catch-A-Ride!

    Missingno. | 10:29

  5. Re: Funktionsweise bei Apple

    Niaxa | 10:29


  1. 10:40

  2. 10:23

  3. 09:00

  4. 08:48

  5. 08:00

  6. 07:43

  7. 07:28

  8. 07:15


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel