KI-Verordnung: Tool zeigt Defizite von KI-Modellen auf
Die großen Sprachmodelle der verschiedenen Anbieter weisen teilweise erhebliche Defizite bei der Erfüllung der europäischen Vorgaben zur künstlichen Intelligenz (KI) auf. Das geht aus der Analyse mit einem Tool hervor, das das Schweizer Unternehmen Latticeflow AI zusammen mit der ETH Zürich und dem bulgarischen Institut Insait entwickelt hat.
"Die Analyse deckt bedeutsame Lücken auf, mehrere Modelle erfüllen die regulatorischen Anforderungen nicht, wobei viele bei den Benchmarks für Cybersicherheit und Fairness nur etwa 50 Prozent erreichen" , heißt es in einer Mitteilung vom 16. Oktober 2024(öffnet im neuen Fenster) .
Latticeflow präsentierte die Ergebnisse auf der Seite Compl-ai.org/(öffnet im neuen Fenster) . Evaluiert wurden bislang elf Modelle der Anbieter Anthropic, Meta, Mistral AI, 01.AI, OpenAI, Google und Qwen/Alibaba Cloud. Auf Huggingface.co ist eine Rangliste(öffnet im neuen Fenster) verfügbar, die jedoch nicht den Gesamtwert enthält.
Gemma mit dem schlechtesten Wert
Am besten schneiden derzeit die Modelle Claude 3 Opus von Anthropic(öffnet im neuen Fenster) und GPT-4 Turbo von Open AI(öffnet im neuen Fenster) mit 0,89 von 1 ab. Den schlechtesten Wert erzielt Googles Gemma-2-9B(öffnet im neuen Fenster) mit 0,72.
Das Angebot ist kein offizielles Tool der EU-Kommission. Allerdings sagte ein Sprecher der Brüsseler Behörde: "Die Europäische Kommission begrüßt diese Studie und die Bewertungsplattform für KI-Modelle als ersten Schritt zur Umsetzung der EU-KI-Verordnung in technische Anforderungen, was Modellanbietern bei der Umsetzung des KI-Gesetzes behilflich ist."
Verhaltenskodex geplant
Der ersten Einschätzung zufolge schnitten die meisten Modelle bei den Anforderungen an schädliche Inhalte und Toxizität gut ab. "Das zeigt, dass die Unternehmen ihre Modelle in diesen Bereichen bereits optimiert haben" , hieß es in der Mitteilung.
Allerdings seien einige technische Anforderungen wie Urheberrecht und Schutz der Privatsphäre weiterhin schwer zu vergleichen. Das deute darauf hin, "dass die Verordnung weiter verfeinert werden muss, um zuverlässige technische Bewertungen zu unterstützen" .
Die KI-Verordnung trat am 1. August 2024 in Kraft und ist bis zum 2. August 2026 umzusetzen. Wer dagegen verstößt, muss sich auf ein Bußgeld bis zu sieben Prozent seines weltweiten Jahresumsatzes oder maximal 35 Millionen Euro gefasst machen – je nachdem, welcher Betrag höher ist.
Die EU-Kommission leitete Ende Juli 2024 eine Konsultation zu einem Verhaltenskodex(öffnet im neuen Fenster) für Anbieter von Modellen der allgemeinen künstlichen Intelligenz (GPAI) ein.
Die Bestimmungen für GPAI treten bereits im August 2025 in Kraft. Die Kommission geht davon aus, dass der Verhaltenskodex bis April 2025 fertiggestellt sein wird.