Programmierung: Githubs Copilot produziert Bugs und Sicherheitslücken

Laut einer Studie sind 40 Prozent der Vorschläge von Githubs auf Machine-Learning basierendem Programmierassistenten Copilot mit Fehlern behaftet.

Artikel veröffentlicht am ,
Nicht alle Bugs sind so leicht zu finden wie dieser.
Nicht alle Bugs sind so leicht zu finden wie dieser. (Bild: Lauren Hammond via flickr/CC-BY 2.0)

Copilot von Github ist ein Werkzeug, das Programmierern die Arbeit erleichtern soll. In einem Paper haben Forscher eine Analyse über die Auswirkungen hinsichtlich Cybersicherheit veröffentlicht.

Stellenmarkt
  1. Senior Softwareentwickler und Systemverantwortlicher für die zentrale finanzmathematische ... (m/w/d)
    L-Bank, Karlsruhe
  2. (Senior) Linux Architect (m/w/d)
    über experteer GmbH, Süddeutschland (Home-Office möglich)
Detailsuche

Über normale Code-Completion hinausgehend soll der Machine-Learning-basierte (ML) KI-Assistent ganze Blöcke von Programmcode generieren. Die Intention des Programmierers extrahiert Copilot zum Beispiel aus ein paar Variablendeklarationen und Kommentaren, in denen die Intention kurz formuliert wird.

40 Prozent fehlerhafter Code

Das Forscherteam fand heraus, dass 40 Prozent des von Copilot vorgeschlagenen Sourcecodes fehlerbehaftet war. "Während Copilot schnell ungeheure Mengen an Code generieren kann, zeigen unsere Schlussfolgerungen, dass Entwickler bei der Verwendung wachsam bleiben sollten." Zusätzlich weisen sie darauf hin, dass es wichtig wäre, Tools wie Copilot mit Sicherheitsanalysetools "während Training und Generierung" zu kombinieren "um das Risiko der Einführung von Sicherheitsschwachstellen zu minimieren."

Damit weisen die Forscher wieder einmal auf ein altbekanntes Problem mit ML-KIs auf: Um die ML-Modelle zu trainieren, wird eine riesige Menge Daten benötigt. Ist diese Datenmenge aber nicht ausreichend kuriert, ergeben sich Probleme, weil das Modell schlechte Angewohnheiten übernimmt. Bisher aber wird mehr nach dem Prinzip Hoffnung gehandelt, dass die schlechten Beispiele praktisch in den Wahrscheinlichkeitsbäumen überstimmt werden, wenn die guten Beispiele überwiegen.

Golem Akademie
  1. C++ 20: Concepts - Ranges - Coroutinen - Module
    4.-8. Oktober 2021, online
  2. IT-Sicherheit für Webentwickler
    2.-3. November 2021, online
  3. Advanced Python - Fortgeschrittene Programmierthemen
    27.-28. Januar 2022, online
Weitere IT-Trainings

Das zu Microsoft gehörende Github und OpenAI, auf dessen GPT-3-Codex-Modell Copilot basiert, wissen das auch. Schon zum Start von Copilot wurde darauf hingewiesen, dass die Codes des künstlichen Partners für Pair Programming vom menschlichen Teil des Paares genau überprüft werden sollten.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


osion 28. Aug 2021 / Themenstart

Fehlercode ist Fehlercode...Sobald es fehlerhaft ist, muss man alles immer auf die...

Hanmac 26. Aug 2021 / Themenstart

Oder für sonstige Geheimdienste

Gamma Ray Burst 26. Aug 2021 / Themenstart

Die Comprehensions sind nicht unbedingt schön, aber sie sind kurz

toj 26. Aug 2021 / Themenstart

Wenn du nicht allwissend bist, verpasst du damit aber auch einiges. Der Copilot hat bei...

Katsuragi 26. Aug 2021 / Themenstart

Hier geht es darum, dass eine KI ("Keine Intelligenz") aus bestehendem Code...

Kommentieren



Aktuell auf der Startseite von Golem.de
Y - The Last Man
Eine Welt der Frauen

Vor knapp 20 Jahren wurde das erste Comic-Heft veröffentlicht, einige Jahre war die Fernsehserie Y - The Last Man in Entwicklung. Jetzt ist sie endlich bei Disney+.
Eine Rezension von Peter Osteried

Y - The Last Man: Eine Welt der Frauen
Artikel
  1. Call of Duty: Vanguard schon in der Beta von Cheatern geplagt
    Call of Duty
    Vanguard schon in der Beta von Cheatern geplagt

    Die uralte Code-Basis fällt Activision auf die Füße. Schon jetzt klagen Spieler der Beta-Version des neuen Call of Duty über Cheater.

  2. CMOS-Batterie: Firmware-Update hat PS4 offenbar vor ewigem Aus gerettet
    CMOS-Batterie
    Firmware-Update hat PS4 offenbar vor ewigem Aus gerettet

    Sony hat mit Firmware 9.0 für die Playstation 4 ein großes Problem gelöst: eine leere CMOS-Batterie kann die Konsole nicht mehr zerstören.

  3. Rabatte bis 50 Prozent - Black Week bei notebooksbilliger.de
     
    Rabatte bis 50 Prozent - Black Week bei notebooksbilliger.de

    Heute startet die nächste Black Week bei notebooksbilliger.de und bietet wieder tolle Angebote auf Produkte verschiedenster Kategorien.
    Ausgewählte Angebote des E-Commerce-Teams

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Black Week bei NBB: Bis 50% Rabatt (u. a. MSI 31,5" Curved WQHD 165Hz 350€) • Gran Turismo 7 25th Anniversary PS4/PS5 vorbestellbar 99,99€ • Samsung T7 Portable SSD 1TB 105,39€ • PS5 bei Amazon zu gewinnen • Astro Gaming A20 + Deathloop PS5 139,99€ [Werbung]
    •  /