Abo
  • Services:

Suchmaschinen: Internet Archive will künftig Robots.txt-Einträge ignorieren

Das Archiv des Internets will der Robots.txt-Datei einer Webseite künftig keine Bedeutung mehr beimessen. Der Schritt sei notwendig, weil die Datei einer echten Archivierung des Internets aus Nutzersicht entgegenstehe, schreiben die Macher.

Artikel veröffentlicht am ,
Zeichnung eines historischen Archivs
Zeichnung eines historischen Archivs (Bild: Gemeinfrei)

Das gemeinnützige Projekt Internet Archive hat auf seiner Webseite bekanntgegeben, Einträge in Robots.txt ignorieren zu wollen. Über die Jahre habe man festgestellt, dass die Einträge in der Datei "nicht notwendigerweise unseren archivarischen Zwecken dienen", schreibt das Projekt. In der Vergangenheit hätten Robots.txt-Einträge auf archivierten Webseiten immer wieder dazu geführt, dass solche Webseiten auch aus der "Wayback Machine" des Internet Archive herausfallen würden.

Stellenmarkt
  1. BWI GmbH, Rheinbach
  2. netvico GmbH, Stuttgart

Bereits vor einigen Monaten hatte das Projekt aufgehört, Robots.txt auf Seiten der US-Regierung und des US-Militärs zu beachten. Dies gelte sowohl für das Crawling als auch für das Anzeigen von Webseiten durch die Wayback Machine. Löschanfragen, die an info@archive.org gesandt werden, würden weiterhin entgegengenommen. Das Vorgehen habe bislang nicht zu Problemen geführt.

US-Regierungswebseiten werden schon länger ohne Ausnahme durchsucht

Künftig soll Robots.txt auch bei anderen Webseiten keine Anwendung mehr finden. Internet Archive schreibt: "Wir sehen, dass die Zukunft der Webarchivierung sich weniger auf die Deklarationen der Robots.txt-Datei verlässt, die eher auf Suchmaschinen zielt, sondern das Web so abbildet, wie es wirklich war - aus Nutzersicht."

Robots.txt ist eine kleine Textdatei, mit der Webseitenbetreiber bestimmte Teile einer Webseite vor Suchmaschinencrawlern verstecken können. Dies kann für die gesamte Webseite gelten, aber auch nur bestimmte Teile, etwa für den Loginbereich des Content-Management-Systems. Robots.txt ist kein verbindlicher technischer Standard, sondern eine Konvention, die die meisten großen Suchmaschinenbetreiber beachten.



Anzeige
Hardware-Angebote
  1. täglich neue Deals bei Alternate.de
  2. ab 399€
  3. und Assassins Creed Odyssey, Strange Brigade und Star Control Origins kostenlos dazu erhalten
  4. 119,90€

FreiGeistler 30. Mai 2017

Wenn du nur Besucher willst die europäischem Recht unterliegen, solltest du den...

okidoki 26. Apr 2017

Einsehbar ja, raubkopierbar nein. Keiner darf den Inhalt von Golem.de kopieren und...

okidoki 26. Apr 2017

Ja, richtig gelesen. Netzpublikationen müssen analog zu Büchern bei der Deutschen...

Prinzeumel 25. Apr 2017

Weil sie sich aktuell nur an dortige gesetze halten müssen.

Prinzeumel 25. Apr 2017

Genau das kann die robots.txt eben nicht leisten. Sie bittet nur darum bestimmte seiten...


Folgen Sie uns
       


Amazons Echo Dot (2018) - Test

Echo Dot steht eigentlich für muffigen Klang. Das ändert sich grundlegend mit dem neuen Echo Dot. Amazons neuer Alexa-Lautsprecher ist damit durchaus zum Musikhören geeignet. Für einen 60 Euro teuren Lautsprecher bietet der neue Echo Dot eine gute Klangqualität.

Amazons Echo Dot (2018) - Test Video aufrufen
Augmented Reality: Das AR-Fabrikgelände aus dem Smartphone
Augmented Reality
Das AR-Fabrikgelände aus dem Smartphone

Derzeit ist viel von einer Augmented Reality Cloud die Rede. Golem.de hat mit dem Berliner Startup Visualix über den Stand der Technik und künftige Projekte für Unternehmenskunden gesprochen - und darüber, was die Neuerungen für Pokémon Go bedeuten könnten.
Ein Interview von Achim Fehrenbach

  1. Jarvish Motorradhelm bringt Alexa in den Kopf
  2. Patentantrag Apple plant Augmented-Reality in der Windschutzscheibe
  3. Magic Leap Lumin OS Erste Bilder des Betriebssystems für Augmented Reality

Campusnetze: Das teure Versäumnis der Telekom
Campusnetze
Das teure Versäumnis der Telekom

Die Deutsche Telekom muss anderen Konzernen bei 5G-Campusnetzen entgegenkommen. Jahrzehntelang von Funklöchern auf dem Lande geplagt, wollen Siemens und die Automobilindustrie nun selbst Mobilfunknetze aufspannen. Auch der öffentliche Rundfunk will selbst 5G machen.
Eine Analyse von Achim Sawall

  1. Stadtnetzbetreiber 5G-Netz kann auch aus der Box kommen
  2. Achim Berg "In Sachen Gigabit ist Deutschland ein großer weißer Fleck"
  3. Telefónica Bündelung von Bandbreiten aus 4G und 5G ist doch möglich

Mate 20 Pro im Hands on: Huawei bringt drei Brennweiten und mehr für 1.000 Euro
Mate 20 Pro im Hands on
Huawei bringt drei Brennweiten und mehr für 1.000 Euro

Huawei hat mit dem Mate 20 Pro seine Dreifachkamera überarbeitet: Der monochrome Sensor ist einer Ultraweitwinkelkamera gewichen. Gleichzeitig bietet das Smartphone zahlreiche technische Extras wie einen Fingerabdrucksensor unter dem Display und einen sehr leistungsfähigen Schnelllader.
Ein Hands on von Tobias Költzsch

  1. Keine Spionagepanik Regierung wird chinesische 5G-Ausrüster nicht ausschließen
  2. Watch GT Huawei bringt Smartwatch ohne Wear OS auf den Markt
  3. Ascend 910/310 Huaweis AI-Chips sollen Google und Nvidia schlagen

    •  /