Abo
  • Services:
Anzeige
Zeichnung eines historischen Archivs
Zeichnung eines historischen Archivs (Bild: Gemeinfrei)

Suchmaschinen: Internet Archive will künftig Robots.txt-Einträge ignorieren

Zeichnung eines historischen Archivs
Zeichnung eines historischen Archivs (Bild: Gemeinfrei)

Das Archiv des Internets will der Robots.txt-Datei einer Webseite künftig keine Bedeutung mehr beimessen. Der Schritt sei notwendig, weil die Datei einer echten Archivierung des Internets aus Nutzersicht entgegenstehe, schreiben die Macher.

Das gemeinnützige Projekt Internet Archive hat auf seiner Webseite bekanntgegeben, Einträge in Robots.txt ignorieren zu wollen. Über die Jahre habe man festgestellt, dass die Einträge in der Datei "nicht notwendigerweise unseren archivarischen Zwecken dienen", schreibt das Projekt. In der Vergangenheit hätten Robots.txt-Einträge auf archivierten Webseiten immer wieder dazu geführt, dass solche Webseiten auch aus der "Wayback Machine" des Internet Archive herausfallen würden.

Anzeige

Bereits vor einigen Monaten hatte das Projekt aufgehört, Robots.txt auf Seiten der US-Regierung und des US-Militärs zu beachten. Dies gelte sowohl für das Crawling als auch für das Anzeigen von Webseiten durch die Wayback Machine. Löschanfragen, die an info@archive.org gesandt werden, würden weiterhin entgegengenommen. Das Vorgehen habe bislang nicht zu Problemen geführt.

US-Regierungswebseiten werden schon länger ohne Ausnahme durchsucht

Künftig soll Robots.txt auch bei anderen Webseiten keine Anwendung mehr finden. Internet Archive schreibt: "Wir sehen, dass die Zukunft der Webarchivierung sich weniger auf die Deklarationen der Robots.txt-Datei verlässt, die eher auf Suchmaschinen zielt, sondern das Web so abbildet, wie es wirklich war - aus Nutzersicht."

Robots.txt ist eine kleine Textdatei, mit der Webseitenbetreiber bestimmte Teile einer Webseite vor Suchmaschinencrawlern verstecken können. Dies kann für die gesamte Webseite gelten, aber auch nur bestimmte Teile, etwa für den Loginbereich des Content-Management-Systems. Robots.txt ist kein verbindlicher technischer Standard, sondern eine Konvention, die die meisten großen Suchmaschinenbetreiber beachten.


eye home zur Startseite
FreiGeistler 30. Mai 2017

Wenn du nur Besucher willst die europäischem Recht unterliegen, solltest du den...

okidoki 26. Apr 2017

Einsehbar ja, raubkopierbar nein. Keiner darf den Inhalt von Golem.de kopieren und...

okidoki 26. Apr 2017

Ja, richtig gelesen. Netzpublikationen müssen analog zu Büchern bei der Deutschen...

Prinzeumel 25. Apr 2017

Weil sie sich aktuell nur an dortige gesetze halten müssen.

Prinzeumel 25. Apr 2017

Genau das kann die robots.txt eben nicht leisten. Sie bittet nur darum bestimmte seiten...



Anzeige

Stellenmarkt
  1. Deutsche Bundesbank, Frankfurt am Main
  2. LEDVANCE GmbH, Garching bei München
  3. Comline AG, Dortmund
  4. DuPont Sustainable Solutions (DSS), Neu-Isenburg


Anzeige
Spiele-Angebote
  1. (-5%) 47,49€
  2. 3,99€
  3. (-90%) 0,80€

Folgen Sie uns
       


  1. Apple

    Messages-App kann mit Nachricht zum Absturz gebracht werden

  2. Analog

    Kabelnetzkunden in falscher Sorge wegen DVB-T-Abschaltung

  3. Partnerprogramm

    Geld verdienen auf Youtube wird schwieriger

  4. Nur beratendes Gremium

    Bundestag setzt wieder Digitalausschuss ein

  5. Eclipse Foundation

    Erster EE4J-Code leitet Java-EE-Migration ein

  6. Breitbandmessung

    Provider halten versprochene Geschwindigkeit fast nie ein

  7. Virtualisierung

    Linux-Gasttreiber für Virtualbox bekommt Mainline-Support

  8. DJI Copilot von Lacie

    Festplatte kopiert SD-Karten ohne separaten Rechner

  9. Swift 5

    Acers dünnes Notebook kommt ab 1.000 Euro in den Handel

  10. Vodafone

    Callya-Flex-Tarife bekommen mehr Datenvolumen



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Sgnl im Hands on: Sieht blöd aus, funktioniert aber
Sgnl im Hands on
Sieht blöd aus, funktioniert aber
  1. Displaytechnik Samsung soll faltbares Smartphone auf CES gezeigt haben
  2. Vuzix Blade im Hands on Neue Datenbrille mit einem scharfen und hellen Bild
  3. Digitale Assistenten Hey, Google und Alexa, mischt euch nicht überall ein!

EU-Urheberrechtsreform: Abmahnungen treffen "nur die Dummen"
EU-Urheberrechtsreform
Abmahnungen treffen "nur die Dummen"
  1. Leistungsschutzrecht EU-Kommission hält kritische Studie zurück
  2. Leistungsschutzrecht EU-Staaten uneins bei Urheberrechtsreform

Security: Das Jahr, in dem die Firmware brach
Security
Das Jahr, in dem die Firmware brach
  1. Wallet Programmierbare Kreditkarte mit ePaper, Akku und Mobilfunk
  2. Fehlalarm Falsche Raketenwarnung verunsichert Hawaii
  3. Asynchronous Ratcheting Tree Facebook demonstriert sicheren Gruppenchat für Apps

  1. Re: Tank

    masel99 | 21:15

  2. Re: Videos von brennenden und sterbenden Menschen...

    Muhaha | 21:14

  3. Re: 100 Mbit/s bei der Telekom

    RipClaw | 21:12

  4. Spektrum

    elena.d.ovs | 21:06

  5. Spektrum

    elena.d.ovs | 21:05


  1. 19:25

  2. 19:18

  3. 18:34

  4. 17:20

  5. 15:46

  6. 15:30

  7. 15:09

  8. 14:58


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel