Maßnahme gegen Webcrawler: Cloudflare ermöglicht Trennung von KI- und Suchbots
Cloudflare hat eine neue Funktion namens Disallow AI Training angekündigt. Wie aus einem Blogbeitrag des Unternehmens(öffnet im neuen Fenster) hervorgeht, ermöglicht es die Funktion Webseitenbetreibern, weiterhin in Suchmaschinen auffindbar zu bleiben und gleichzeitig das Training von KI-Modellen auf ihren Inhalten zu untersagen.
Hintergrund der Initiative ist ein verändertes Schutzbedürfnis, so das Unternehmen. Während demnach etwa weniger als ein Prozent seiner Kunden Suchmaschinen-Bots blockieren, nutzen 17 Prozent Methoden, um KI-Training zu unterbinden.
Da einfache robots.txt-Einträge allein nicht ausreichen (g+), um ungewollte Crawler zu identifizieren oder aufzuhalten, setzt Cloudflare darauf, in seinem Netzwerk Crawler-Absichten zu klassifizieren, regelwidrige Zugriffe zu blockieren und das Verhalten auf Cloudflare Radar transparent zu dokumentieren.
Crawler-Betreiber müssen konkrete Zusagen machen
Dies löst dem Anbieter zufolge das bisherige Dilemma bei Crawlern mit mehreren Absichten (Mixed-use Crawlers), die sowohl für die Suche als auch für das KI-Training eingesetzt werden und bei denen Seitenbetreiber bislang nur die Wahl hatten, beides zuzulassen oder komplett zu sperren.
Um verlässliche Standards zu schaffen, führt Cloudflare zudem die Kennzeichnung Accountable ein, für die sich Crawler-Betreiber durch konkrete Zusagen qualifizieren müssen.
Diese Kriterien umfassen Opt-out-Möglichkeiten für die Verwendung von Daten für KI-Trainings und KI-Zusammenfassungen, eine transparente Berichterstattung auf URL-Ebene sowie die Garantie, dass das Verbot von KI-Training die regulären Suchergebnisse nicht beeinträchtigt.
Anbieter wie Apple, Google, Microsoft, Amazon, Anthropic, Meta und OpenAI wurden entsprechend kategorisiert oder haben zugesagt, diese Vorgaben umzusetzen. Als nächsten Schritt will sich Cloudflare der Regulierung von KI-Zusammenfassungen widmen.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.