KI-Bot-Blocker: So wird der Kampf um digitale Inhalte geführt
KI-Firmen wie Google, OpenAI, Meta und Anthropic nutzen Inhalte aus dem Internet für das Training ihrer Modelle, oft ohne Bezahlung oder angemessene Entschädigung der Urheber . Dabei durchsuchen KI-Bots riesige Mengen an Daten digitaler Inhalte im Internet, die dann für das Training großer Sprachmodelle (Large Language Models, LLMs) verwendet werden. Ein großes Problem dabei ist, dass KI-Unternehmen häufig nicht dazu bereit sind, die von Webseitenbetreibern zum Beispiel in der robots.txt vorgegebenen Beschränkungen für Crawler und Bots zu akzeptieren.
Anbieter von Cloud-Computing-Diensten wie Cloudflare und Fastly beschäftigen sich intensiv damit, Server- und Webseitenbetreiber bei der Erkennung von KI-Bots zu unterstützen, damit diese nicht ohne Erlaubnis auf Web-Inhalte zugreifen. Was es dabei zu beachten gibt, erklärt Kelly Shortridge, Vice President Product Security bei Fastly im Gespräch mit Golem.