KI-Training: Das offene Web macht dicht
Inhalt
Das offene Web war für lange Zeit der billigste Rohstoff der KI-Industrie. Große Sprachmodelle lernten aus Nachrichtenseiten, Foren, Blogs, Dokumentationen, Codeplattformen und frei zugänglichen Archiven. Was öffentlich im Netz stand, floss oft in Datensätze ein, aus denen später Chatbots, Bildgeneratoren und Suchassistenten entstanden.
Doch dieses Modell gerät zunehmend unter Druck. Immer mehr Seitenbetreiber sperren Crawler aus, die Inhalte für KI-Training oder große Datensammlungen abrufen. Denn Verlage, Forenbetreiber, Händler und Blogger wollen nicht länger kostenlos Material liefern, aus dem KI-Unternehmen neue Produkte bauen. Gleichzeitig nimmt der Anteil synthetischer Inhalte im Netz zu. Damit wächst die Sorge, dass künftige Modelle weniger aus menschlichen Daten lernen und stärker aus den Ausgaben früherer Modelle.
Das könnte langfristig zum sogenannten Model Collapse beitragen: KI-Modelle verlieren an Qualität, wenn sie über mehrere Generationen hinweg vor allem mit Inhalten trainiert werden, die frühere Modelle erzeugt haben. Dabei gehen seltene Informationen, sprachliche Vielfalt und Genauigkeit schrittweise verloren. Das Modell lernt dann zunehmend aus seinen eigenen Vereinfachungen und Fehlern statt aus neuen menschlichen Daten.
Dazu muss es nicht zwangsläufig kommen, eine Folge lässt sich aber schon heute kaum von der Hand weisen: Wenn menschliche Trainingsdaten knapper, teurer und exklusiver werden, verändert sich die gesamte Ökonomie der KI-Entwicklung. Wer zahlen kann, sichert sich hochwertige Datenbestände. Wer das nicht kann, verliert Anschluss. Besonders hart trifft das kleinere Anbieter und offene Modellprojekte.
Klar ist: Die Erfassung frei zugänglicher Internetinhalte stößt auf wachsenden Widerstand. Die Data-Provenance-Initiative zeigte bereits im Juli 2024, wie schnell sich der Zugriff auf Webdaten verändert. Ihre Untersuchung Consent in Crisis (PDF)(öffnet im neuen Fenster) erfasste den Zeitraum von April 2023 bis April 2024 und kam zu dem Ergebnis, dass innerhalb eines Jahres mehr als 25 Prozent der Tokens aus besonders wichtigen Webquellen durch robots.txt-Regeln eingeschränkt wurden.
Über die gesamten Korpora C4, Refinedweb und Dolma hinweg lag der Anteil neu eingeschränkter Tokens bei mehr als fünf Prozent. Die Studie beschreibt damit den beginnenden Rückzug hochwertiger Webdaten aus frei nutzbaren Trainingskorpora bis April 2024.
Immer mehr seriöse Seiten schließen Crawler aus
Wie stark dieser Trend im Medienbereich weiterging, zeigt die Untersuchung Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web(öffnet im neuen Fenster). Die Forschungsgruppe analysierten hierfür 3.369 seriöse Nachrichtenseiten und 710 Desinformationsseiten.
Für ihre Längsschnittanalyse nutzten sie sechs Snapshots aus dem Internet Archive zwischen September 2023 und Mai 2025. Das Ergebnis: Der Anteil seriöser Nachrichtenseiten, die mindestens einen KI-Crawler vollständig ausschließen, stieg von 23 Prozent im September 2023 auf nahezu 60 Prozent im Mai 2025. Im selben Zeitraum blieben Desinformationsseiten deutlich offener. Dort lag der entsprechende Anteil unter zehn Prozent.
Zusammengeführt zeigen beide Arbeiten eine klare Entwicklung: Hochwertige, menschlich erzeugte Webdaten bleiben technisch zwar weiterhin auffindbar, sind für KI-Training aber zunehmend nicht mehr frei verfügbar.
Auch Anthropic-Crawler werden häufig blockiert
Besonders stark trifft es dabei Crawler, die Seitenbetreibern keinen direkten Gegenwert liefern. Der CCBot von Common Crawl beispielsweise, dessen Datensätze viele offene Modelle nutzen, wird laut einer Buzzstream-Auswertung(öffnet im neuen Fenster) großer US- und UK-Nachrichtenseiten von 75 Prozent der untersuchten Publisher ausgesperrt.
Auch Anthropic-Crawler werden häufig blockiert: Je nach User-Agent liegen die Sperrquoten laut Buzzstream zwischen 69 und 72 Prozent. OpenAIs GPTBot kommt auf 62 Prozent und Alphabets Google-Extended, der Seitenbetreibern eine Abmeldung von bestimmten KI-Nutzungen ermöglichen soll, erreicht 46 Prozent. OpenAIs OAI-Searchbot, der eher mit aktueller Websuche als mit klassischem Training verbunden ist, wird letztlich von 49 Prozent blockiert.
Der klassische Googlebot für die normale Websuche bleibt dagegen meist zugelassen. Diese Unterscheidung zeigt, dass viele Publisher nicht grundsätzlich gegen maschinelles Crawling vorgehen. Sie trennen vielmehr zwischen Bots, die Besucher auf ihre Seiten bringen, und Bots, die Inhalte aufnehmen, ohne vergleichbaren Verkehr zurückzuliefern.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.