Robots.txt ist keine Mauer
Die robots.txt ist allerdings technisch betrachtet keine echte Sperre. Es handelt sich vielmehr um eine Datei im Stammverzeichnis einer Webseite, in der Betreiber angeben, welche Bereiche ein Crawler abrufen darf und welche nicht. Seriöse Suchmaschinen respektieren diese Vorgaben. Erzwingen kann die Datei das aber nicht. Wer sie ignoriert, kann Inhalte weiterhin abrufen, solange keine weiteren Schutzmechanismen greifen.
Genau deshalb verlagert sich der Konflikt zunehmend von einfachen Textregeln zu technischer Abwehr. Content Delivery Networks und Sicherheitsdienste erkennen Scraper nicht mehr nur am deklarierten User-Agent, also am Namen, mit dem sich ein Bot gegenüber dem Server ausgibt. Sie werten auch Verhalten aus: etwa, wie schnell eine IP-Adresse Seiten abruft, welche Muster die Anfragen zeigen oder ob der Besucher Skripte, Bilder und Cookies wie ein normaler Browser lädt oder nur den Textkörper.
Aus solchen Einzelmaßnahmen entsteht inzwischen ein breiter Schutzwall gegen KI-Scraping. Eine Analyse der SEO-Agentur Seosoon kommt zu dem Ergebnis(öffnet im neuen Fenster), dass bereits rund ein Drittel der deutschen .de-Domains KI-Crawler blockiert.
Die Abwehr beschränkt sich damit nicht mehr auf große internationale Publisher. Sie erreicht auch kleinere Webseiten, Fachblogs, Onlineshops und Foren. Oft entsteht dieser Schutz im Hintergrund, durch Hosting, Firewall-Regeln oder automatisierte Bot-Erkennung.
Für KI-Unternehmen erhöht das die Kosten der Datensammlung. Wer Sperren umgehen will, muss auf Headless-Browser, rotierende Proxys oder spezialisierte Scraping-Dienstleister setzen. Headless-Browser beispielsweise laden Webseiten im Hintergrund ähnlich wie ein normaler Browser, nur ohne sichtbare Oberfläche. So lassen sich einfache Bot-Erkennungen umgehen. Technisch ist das kein Problem, rechtlich und reputationsseitig aber dafür umso mehr.
Perplexity geriet deshalb in die Kritik, weil der Dienst nach Berichten von Publishern robots.txt-Vorgaben missachtet haben soll.
Auch Amazon sah sich Vorwürfen von Onlinehändlern ausgesetzt, dass KI-Einkaufshelfer technische Barrieren in Webshops umgehen. Für große Konzerne sind solche Vorwürfe ein Problem: Sie benötigen nicht nur Daten, sondern auch eine belastbare Dokumentation, woher diese Daten stammen und unter welchen Bedingungen sie genutzt wurden.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.