Model Collapse ist kein unmittelbarer Effekt der Crawler-Blockaden
An dieser Stelle stellt sich die entscheidende technische Frage: Führt das Blockieren von Crawlern direkt zum Model Collapse? So einfach ist es nicht. Ein Sprachmodell bildet Wahrscheinlichkeiten aus Trainingsdaten ab. Es lernt häufige Muster, sollte aber auch seltene, ungewöhnliche oder besonders präzise Informationen erfassen.
Problematisch wird es allerdings, wenn synthetische Texte menschliche Trainingsdaten über mehrere Generationen hinweg ersetzen. Dann können neue Modelle die Verzerrungen früherer Systeme übernehmen und verstärken. Seltene Details verschwinden zuerst, dominante Muster setzen sich stärker durch. Über mehrere Trainingsgenerationen kann dadurch die Vielfalt der Ausgaben abnehmen, bis ein Modell nur noch vereinfachte, verzerrte oder falsche Varianten der ursprünglichen Daten produziert.
Ob große Modellanbieter synthetische Daten in diesem Umfang einsetzen, ist öffentlich nur begrenzt nachvollziehbar. Die Frage bleibt dennoch relevant, weil die Herkunft großer Webdatensätze schwerer zu kontrollieren ist und hochwertige menschliche Inhalte zugleich schwerer zugänglich werden.
Die Nature-Studie von Ilia Shumailov und weiteren Forschern hat diesen Effekt unter dem Titel AI models collapse when trained on recursively generated data(öffnet im neuen Fenster) mathematisch und experimentell untersucht. Ein anschauliches Experiment zeigt darin, wie ein Modell beim wiederholten Training auf Basis früherer Modellgenerationen seltene Informationen verliert.
Texte über mittelalterliche Architektur enthielten zunächst nur nebenbei Hinweise auf Hunderassen. Nach mehreren Generationen synthetischen Weitertrainings entfernte sich das Ergebnis immer stärker vom Ausgangsthema und produzierte schließlich unsinnige, repetitive Sätze über Hasenarten.
Dieses Experiment bildet heutige industrielle Trainingspipelines zwar nicht eins zu eins ab. Es zeigt aber den Kern des Problems: Wenn synthetische Daten menschliche Daten ersetzen, statt sie zu ergänzen, können Modelle statistisch verarmen. Genau deshalb ist der Zugang zu frischen menschlichen Inhalten so wichtig. Nicht, weil jedes neue Modell sonst sofort kollabiert. Sondern weil menschliche Daten als Korrektiv gegen Selbstverstärkung, Verflachung und Fehlerfortpflanzung dienen.
Die autophage Schleife
Ähnliche Effekte zeigen Untersuchungen zur Bildgenerierung. Eine Studie der Rice University und der Stanford University mit dem Titel Self-Consuming Generative Models Go Mad(öffnet im neuen Fenster) beschreibt eine sogenannte autophage Schleife.
Gemeint ist ein System, das sich zunehmend von seinen eigenen Ausgaben ernährt. Trainiert etwa eine Bild-KI über mehrere Generationen fast ausschließlich mit synthetischen Bildern, verlieren die Ergebnisse Details. Gesichter verschwimmen, Strukturen verformen sich, Farbwelten verarmen. Wie bei einer oft kopierten Kopie entfernt sich das Ergebnis immer weiter vom ursprünglichen Material.
Synthetische Daten sind nicht automatisch Gift
Die Forschungslage ist allerdings differenzierter, als der Begriff Model Collapse vermuten lässt. Synthetische Daten sind nicht grundsätzlich schädlich. Sie können sogar helfen, Trainingsdaten zu erweitern, Spezialfälle zu erzeugen oder Modelle auf bestimmte Aufgaben vorzubereiten. Entscheidend ist, wie Entwickler sie einsetzen.
Ein Forschungsteam um Ben Gerstgrasser argumentierte auf der Conference on Language Modeling 2024, dass Model Collapse nicht zwangsläufig eintreten muss. Die Arbeit Is Model Collapse Inevitable? Breaking the Curse of Recursion(öffnet im neuen Fenster) unterscheidet dabei zwischen Ersetzung und Ergänzung.
Problematisch wird es demnach, wenn Entwickler menschliche Ausgangsdaten durch synthetische Daten ersetzen. Deutlich stabiler bleibt das Training, wenn sie ursprüngliche menschliche Datensätze erhalten und synthetische Inhalte nur ergänzend hinzufügen.
Der Engpass liegt also nicht nur darin, dass neue Webdaten schwerer zugänglich werden. Ebenso entscheidend ist, ob Anbieter ihre bestehenden menschlichen Datensätze sauber archivieren, dokumentieren und weiter nutzen dürfen. Wer über große historische Datenbestände verfügt, gewinnt dadurch einen strategischen Vorteil.
Crawler-Blockaden führen auch nicht automatisch zum technischen Absturz von KI-Systemen. Sie machen aber neue menschliche Daten teurer und schwerer zugänglich. Damit steigt der Anreiz, ältere Datensätze wiederzuverwenden, synthetische Daten beizumischen oder exklusive Lizenzverträge abzuschließen.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.