Abo
  • IT-Karriere:

Suchmaschinen: Internet Archive will künftig Robots.txt-Einträge ignorieren

Das Archiv des Internets will der Robots.txt-Datei einer Webseite künftig keine Bedeutung mehr beimessen. Der Schritt sei notwendig, weil die Datei einer echten Archivierung des Internets aus Nutzersicht entgegenstehe, schreiben die Macher.

Artikel veröffentlicht am ,
Zeichnung eines historischen Archivs
Zeichnung eines historischen Archivs (Bild: Gemeinfrei)

Das gemeinnützige Projekt Internet Archive hat auf seiner Webseite bekanntgegeben, Einträge in Robots.txt ignorieren zu wollen. Über die Jahre habe man festgestellt, dass die Einträge in der Datei "nicht notwendigerweise unseren archivarischen Zwecken dienen", schreibt das Projekt. In der Vergangenheit hätten Robots.txt-Einträge auf archivierten Webseiten immer wieder dazu geführt, dass solche Webseiten auch aus der "Wayback Machine" des Internet Archive herausfallen würden.

Stellenmarkt
  1. Schwarz Dienstleistung KG, Neckarsulm
  2. BWI GmbH, Ulm

Bereits vor einigen Monaten hatte das Projekt aufgehört, Robots.txt auf Seiten der US-Regierung und des US-Militärs zu beachten. Dies gelte sowohl für das Crawling als auch für das Anzeigen von Webseiten durch die Wayback Machine. Löschanfragen, die an info@archive.org gesandt werden, würden weiterhin entgegengenommen. Das Vorgehen habe bislang nicht zu Problemen geführt.

US-Regierungswebseiten werden schon länger ohne Ausnahme durchsucht

Künftig soll Robots.txt auch bei anderen Webseiten keine Anwendung mehr finden. Internet Archive schreibt: "Wir sehen, dass die Zukunft der Webarchivierung sich weniger auf die Deklarationen der Robots.txt-Datei verlässt, die eher auf Suchmaschinen zielt, sondern das Web so abbildet, wie es wirklich war - aus Nutzersicht."

Robots.txt ist eine kleine Textdatei, mit der Webseitenbetreiber bestimmte Teile einer Webseite vor Suchmaschinencrawlern verstecken können. Dies kann für die gesamte Webseite gelten, aber auch nur bestimmte Teile, etwa für den Loginbereich des Content-Management-Systems. Robots.txt ist kein verbindlicher technischer Standard, sondern eine Konvention, die die meisten großen Suchmaschinenbetreiber beachten.



Anzeige
Spiele-Angebote
  1. (-80%) 6,99€
  2. (-78%) 11,00€
  3. 4,31€
  4. 4,99€

FreiGeistler 30. Mai 2017

Wenn du nur Besucher willst die europäischem Recht unterliegen, solltest du den...

okidoki 26. Apr 2017

Einsehbar ja, raubkopierbar nein. Keiner darf den Inhalt von Golem.de kopieren und...

okidoki 26. Apr 2017

Ja, richtig gelesen. Netzpublikationen müssen analog zu Büchern bei der Deutschen...

Anonymer Nutzer 25. Apr 2017

Weil sie sich aktuell nur an dortige gesetze halten müssen.

Anonymer Nutzer 25. Apr 2017

Genau das kann die robots.txt eben nicht leisten. Sie bittet nur darum bestimmte seiten...


Folgen Sie uns
       


NXP Autoschlüssel erklärt

VW hat ein Konzeptauto mit einem Schließsystem ausgestattet, das vor Hackerangriffen sicher sein soll. Das Video stellt das System vor.

NXP Autoschlüssel erklärt Video aufrufen
Serielle Hybride: Unterschätzte Zwischenlösung oder längst überholt?
Serielle Hybride
Unterschätzte Zwischenlösung oder längst überholt?

Die reine E-Mobilität kommt nicht so schnell voran, wie es Klimaziele und Luftreinhaltepläne erfordern. Doch viele Fahrzeughersteller stellen derweil eine vergleichsweise simple Technologie auf die Räder, die für eine Zukunft ohne fossile Kraftstoffe Erkenntnisse liefern kann.
Von Mattias Schlenker

  1. ADAC Keyless-Go bietet Autofahrern keine Sicherheit
  2. Gesetzentwurf beschlossen Regierung verlängert Steuervorteile für Elektroautos
  3. Cabrio Renault R4 Plein Air als Elektro-Retroauto

E-Auto: Byton zeigt die Produktionsversion des M-Byte
E-Auto
Byton zeigt die Produktionsversion des M-Byte

IAA 2019 Die Premiere von Byton in Frankfurt ist überraschend. Da der M-Byte im kommenden Jahr in China startet, ist die Vorstellung des produktionsreifen Elektroautos in Deutschland etwas Besonderes.
Ein Bericht von Dirk Kunde


    Galaxy Fold im Hands on: Samsung hat sein faltbares Smartphone gerettet
    Galaxy Fold im Hands on
    Samsung hat sein faltbares Smartphone gerettet

    Ifa 2019 Samsungs Überarbeitungen beim Galaxy Fold haben sich gelohnt: Das Gelenk wirkt stabil und dicht, die Schutzfolie ist gut in den Rahmen eingearbeitet. Im ersten Test von Golem.de haben wir trotz aller guten Eindrücke Bedenken hinsichtlich der Kratzempfindlichkeit des Displays.
    Ein Hands on von Tobias Költzsch

    1. Orbi AX6000 Netgears Wi-Fi-6-Mesh-System ist teuer
    2. Motorola Tech 3 Bluetooth-Hörstöpsel sind auch mit Kabel nutzbar
    3. Wegen US-Sanktionen Huawei bringt Mate 30 ohne Play Store und Google Maps

      •  /