Kernel.org: 98 Prozent des Linux-Kernel-Archiv-Traffics sind wohl keine Menschen
Das Team von Kernel.org(öffnet im neuen Fenster) hat ein Problem: KI-Modelle wollen stets mehr Daten für das eigene Training haben und bedienen sich deshalb einer der größten, zu Großteilen von Menschenhand erstellten Code-Sammlungen im Netz. Kernel.org stellt den gesamten Inhalt des Linux-Kernels und dessen ältere Commits zur Verfügung. Insgesamt 1,48 Millionen Commits und etwa 922 Forks werden dort gehostet.
Mittlerweile machen etwa 22 Prozent der kompletten Servergrundlast allein Anfragen durch Scraper und Bots aus. Das berichtet(öffnet im neuen Fenster) Entwickler Konstantin Ryabitsev von der Linux Foundation, der unter anderem Server für Kernel.org verwaltet. Dabei werden wohl zwei Drittel aller Anfragen auf das Portal bereits vorher geblockt.
Weitaus mehr Traffic wird nur durch simple Anfragen generiert. Ryabitsev geht davon aus, dass mittlerweile nur noch zwei Prozent des Traffics auf git.kernel.org überhaupt von legitimen Quellen ausgeht, also meist von Menschen oder Systemen, die nicht scrapen wollen und stattdessen am Linux-Kernel arbeiten.
Abschreckung durch Matheaufgaben
Ein Problem ist, dass Bots und Scraper nicht wie die Menschen benötigte Daten klonen und dann lokal verarbeiten. Stattdessen werden alle Seiten mittels CGit durchsucht und dies für alle 922 Forks wiederholt. Das kann im Worst Case eine CPU-Zeit um den Faktor 4,6 Millionen kosten.
Aktuell ist das noch kein so großes Problem, dass Systeme ausfallen und eine Überlastung droht. Deshalb wurde auch das Anubis-System(öffnet im neuen Fenster) eingeführt, durch das Clients mathematische Gleichungen lösen müssen. Viele Bots werden durch diese zusätzliche Rechenlast abgeschreckt. Andere sehen die Daten von Kernel.org aber als wertvoll genug an.
Fast täglich gibt es Neues aus der KI-Welt – ein neues Produkt hier, aktuelle Forschung da: Vielleicht ist es ein Durchbruch! Doch wie ist das zu bewerten? Mit dem Golem-Newsletter AI Lab Report behaltet ihr den Überblick über die wichtigsten Entwicklungen. Der Newsletter ist kostenlos, ihr könnt ihn hier abonnieren.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.