Claude: Anthropic soll für KI rücksichtslos Webseiten auslesen
Mehrere Webseitenbetreiber beschuldigten das Unternehmen Anthropic mit seinem Chatbot Claude, ihre Webseiten übermäßig zu crawlen, was den normalen Betrieb störe.
Matt Barrie, CEO von Freelancer.com, behauptet, dass Anthropic "der mit Abstand aggressivste Crawler" seiner Plattform für Freiberufler ist. Laut Daten, die der Financial Times(öffnet im neuen Fenster) zur Verfügung gestellt wurden, erhielt Freelancer.com innerhalb von nur vier Stunden 3,5 Millionen Besuche von einem mit Anthropic verbundenen Web-Crawler.
Diese Datenmenge übertreffe Berichten zufolge bei Weitem die Datenmenge anderer KI-Crawler. Barrie schätzt, dass die Crawler-Aktivität von Anthropic "wahrscheinlich etwa fünfmal so hoch ist wie die des zweitgrößten KI-Crawlers" .
Das Problem beschränkt sich nicht auf Freelancer.com. Kyle Wiens, Chef von iFixit.com, berichtete, dass seine Reparaturwebseite innerhalb von 24 Stunden eine Million Zugriffe von Anthropic-Bots verzeichnete.
Auswirkungen und Reaktionen auf KI-Website-Scraping
Anthropic sieht sich eigentlich als Entwickler verantwortungsvoller KI-Systeme. Das Unternehmen gab an, die gemeldeten Vorfälle zu untersuchen und die Wünsche der Herausgeber zu respektieren, berichtet die Financial Times.
Das KI-Start-up behauptet, sich an Standard-Webprotokolle wie robots.txt zu halten, die das Verhalten von Crawlern regeln. Einige Webseitebetreiber berichten jedoch, dass ihre Versuche, den Zugriff auf die Bots von Anthropic zu verweigern, erfolglos gewesen seien.
Eric Holscher, Mitbegründer der Dokument-Hosting-Webseite Read the Docs, wies auf die finanziellen Auswirkungen von KI-Crawlern hin. In einem kürzlich veröffentlichten Blogbeitrag nannte er die erheblichen Kosten für den Traffic.
Da KI-Unternehmen im Wettbewerb stehen, leistungsfähigere Modelle zu entwickeln, suchen sie nach neuen Quellen für Trainingsdaten. Einige, wie OpenAI, schlossen Partnerschaften mit Inhaltsanbietern. Anthropic gab bislang keine vergleichbaren Vereinbarungen bekannt.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.