Abo
  • Services:
Anzeige
Zeichnung eines historischen Archivs
Zeichnung eines historischen Archivs (Bild: Gemeinfrei)

Suchmaschinen: Internet Archive will künftig Robots.txt-Einträge ignorieren

Zeichnung eines historischen Archivs
Zeichnung eines historischen Archivs (Bild: Gemeinfrei)

Das Archiv des Internets will der Robots.txt-Datei einer Webseite künftig keine Bedeutung mehr beimessen. Der Schritt sei notwendig, weil die Datei einer echten Archivierung des Internets aus Nutzersicht entgegenstehe, schreiben die Macher.

Das gemeinnützige Projekt Internet Archive hat auf seiner Webseite bekanntgegeben, Einträge in Robots.txt ignorieren zu wollen. Über die Jahre habe man festgestellt, dass die Einträge in der Datei "nicht notwendigerweise unseren archivarischen Zwecken dienen", schreibt das Projekt. In der Vergangenheit hätten Robots.txt-Einträge auf archivierten Webseiten immer wieder dazu geführt, dass solche Webseiten auch aus der "Wayback Machine" des Internet Archive herausfallen würden.

Anzeige

Bereits vor einigen Monaten hatte das Projekt aufgehört, Robots.txt auf Seiten der US-Regierung und des US-Militärs zu beachten. Dies gelte sowohl für das Crawling als auch für das Anzeigen von Webseiten durch die Wayback Machine. Löschanfragen, die an info@archive.org gesandt werden, würden weiterhin entgegengenommen. Das Vorgehen habe bislang nicht zu Problemen geführt.

US-Regierungswebseiten werden schon länger ohne Ausnahme durchsucht

Künftig soll Robots.txt auch bei anderen Webseiten keine Anwendung mehr finden. Internet Archive schreibt: "Wir sehen, dass die Zukunft der Webarchivierung sich weniger auf die Deklarationen der Robots.txt-Datei verlässt, die eher auf Suchmaschinen zielt, sondern das Web so abbildet, wie es wirklich war - aus Nutzersicht."

Robots.txt ist eine kleine Textdatei, mit der Webseitenbetreiber bestimmte Teile einer Webseite vor Suchmaschinencrawlern verstecken können. Dies kann für die gesamte Webseite gelten, aber auch nur bestimmte Teile, etwa für den Loginbereich des Content-Management-Systems. Robots.txt ist kein verbindlicher technischer Standard, sondern eine Konvention, die die meisten großen Suchmaschinenbetreiber beachten.


eye home zur Startseite
FreiGeistler 30. Mai 2017

Wenn du nur Besucher willst die europäischem Recht unterliegen, solltest du den...

okidoki 26. Apr 2017

Einsehbar ja, raubkopierbar nein. Keiner darf den Inhalt von Golem.de kopieren und...

okidoki 26. Apr 2017

Ja, richtig gelesen. Netzpublikationen müssen analog zu Büchern bei der Deutschen...

Prinzeumel 25. Apr 2017

Weil sie sich aktuell nur an dortige gesetze halten müssen.

Prinzeumel 25. Apr 2017

Genau das kann die robots.txt eben nicht leisten. Sie bittet nur darum bestimmte seiten...



Anzeige

Stellenmarkt
  1. Robert Bosch GmbH, Abstatt
  2. Bibliotheksservice-Zentrum Baden-Württemberg (BSZ), Konstanz
  3. über Nash Direct GmbH, Stuttgart-Vaihingen
  4. Schaeffler Technologies AG & Co. KG, Herzogenaurach


Anzeige
Hardware-Angebote
  1. ab 799,90€
  2. und Destiny 2 gratis erhalten

Folgen Sie uns
       


  1. Unternehmen

    1&1 Versatel bietet Gigabit für Frankfurt

  2. Microsoft

    Xbox One emuliert 13 Xbox-Klassiker

  3. DMT Bonding

    Telekom probiert 1 GBit/s ohne Glasfaser aus

  4. Telekom-Software

    Cisco kauft Broadsoft für knapp 2 Milliarden US-Dollar

  5. Pubg

    Die blaue Zone verursacht künftig viel mehr Schaden

  6. FSFE

    "War das Scheitern von Limux unsere Schuld?"

  7. Code-Audit

    Kaspersky wirbt mit Transparenzinitiative um Vertrauen

  8. iOS 11+1+2=23

    Apple-Taschenrechner versagt bei Kopfrechenaufgaben

  9. Purism Librem 13 im Test

    Freiheit hat ihren Preis

  10. Andy Rubin

    Drastischer Preisnachlass beim Essential Phone



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
ZFS ausprobiert: Ein Dateisystem fürs Rechenzentrum im privaten Einsatz
ZFS ausprobiert
Ein Dateisystem fürs Rechenzentrum im privaten Einsatz
  1. Librem 5 Purism zeigt Funktionsprototyp für freies Linux-Smartphone
  2. Pipewire Fedora bekommt neues Multimedia-Framework
  3. Linux-Desktops Gnome 3.26 räumt die Systemeinstellungen auf

Verschlüsselung: Niemand hat die Absicht, TLS zu knacken
Verschlüsselung
Niemand hat die Absicht, TLS zu knacken
  1. RSA-Sicherheitslücke Infineon erzeugt Millionen unsicherer Krypto-Schlüssel
  2. TLS-Zertifikate Zertifizierungsstellen müssen CAA-Records prüfen
  3. Certificate Transparency Webanwendungen hacken, bevor sie installiert sind

Zotac Zbox PI225 im Test: Der Kreditkarten-Rechner
Zotac Zbox PI225 im Test
Der Kreditkarten-Rechner

  1. Re: Zu schnell eingegeben!?

    My1 | 03:43

  2. Re: Sind immer die selben Probleme

    Dino13 | 02:37

  3. Re: NSA rät ab => muss gut sein

    Apfelbrot | 01:50

  4. 4-2

    Stegorix | 01:47

  5. Re: Bonding von 8 Leitungen?

    Sharra | 01:33


  1. 18:46

  2. 17:54

  3. 17:38

  4. 16:38

  5. 16:28

  6. 15:53

  7. 15:38

  8. 15:23


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel