Programmierung: Githubs Copilot produziert Bugs und Sicherheitslücken

Laut einer Studie sind 40 Prozent der Vorschläge von Githubs auf Machine-Learning basierendem Programmierassistenten Copilot mit Fehlern behaftet.

Artikel veröffentlicht am ,
Nicht alle Bugs sind so leicht zu finden wie dieser.
Nicht alle Bugs sind so leicht zu finden wie dieser. (Bild: Lauren Hammond via flickr/CC-BY 2.0)

Copilot von Github ist ein Werkzeug, das Programmierern die Arbeit erleichtern soll. In einem Paper haben Forscher eine Analyse über die Auswirkungen hinsichtlich Cybersicherheit veröffentlicht.

Stellenmarkt
  1. Full Stack Developer
    Universitätsklinikum Frankfurt, Frankfurt am Main
  2. Expertin*Experte für Verwaltungsmanagement im Kontext digitaler Transformationsprozesse
    Umweltbundesamt, Leipzig, Berlin, Dessau-Roßlau
Detailsuche

Über normale Code-Completion hinausgehend soll der Machine-Learning-basierte (ML) KI-Assistent ganze Blöcke von Programmcode generieren. Die Intention des Programmierers extrahiert Copilot zum Beispiel aus ein paar Variablendeklarationen und Kommentaren, in denen die Intention kurz formuliert wird.

40 Prozent fehlerhafter Code

Das Forscherteam fand heraus, dass 40 Prozent des von Copilot vorgeschlagenen Sourcecodes fehlerbehaftet war. "Während Copilot schnell ungeheure Mengen an Code generieren kann, zeigen unsere Schlussfolgerungen, dass Entwickler bei der Verwendung wachsam bleiben sollten." Zusätzlich weisen sie darauf hin, dass es wichtig wäre, Tools wie Copilot mit Sicherheitsanalysetools "während Training und Generierung" zu kombinieren "um das Risiko der Einführung von Sicherheitsschwachstellen zu minimieren."

Damit weisen die Forscher wieder einmal auf ein altbekanntes Problem mit ML-KIs auf: Um die ML-Modelle zu trainieren, wird eine riesige Menge Daten benötigt. Ist diese Datenmenge aber nicht ausreichend kuriert, ergeben sich Probleme, weil das Modell schlechte Angewohnheiten übernimmt. Bisher aber wird mehr nach dem Prinzip Hoffnung gehandelt, dass die schlechten Beispiele praktisch in den Wahrscheinlichkeitsbäumen überstimmt werden, wenn die guten Beispiele überwiegen.

Golem Karrierewelt
  1. Adobe Premiere Pro Aufbaukurs: virtueller Zwei-Tage-Workshop
    26./27.01.2023, Virtuell
  2. Linux-Systemadministration Grundlagen: virtueller Fünf-Tage-Workshop
    09.-13.01.2023, Virtuell
Weitere IT-Trainings

Das zu Microsoft gehörende Github und OpenAI, auf dessen GPT-3-Codex-Modell Copilot basiert, wissen das auch. Schon zum Start von Copilot wurde darauf hingewiesen, dass die Codes des künstlichen Partners für Pair Programming vom menschlichen Teil des Paares genau überprüft werden sollten.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Sladen 10. Jan 2022

Wenn ich mir so anschaue was bei MS raus kommt. Glaub ich das nimmt sich nicht viel Siehe...

Hanmac 26. Aug 2021

Oder für sonstige Geheimdienste

Gamma Ray Burst 26. Aug 2021

Die Comprehensions sind nicht unbedingt schön, aber sie sind kurz

toj 26. Aug 2021

Wenn du nicht allwissend bist, verpasst du damit aber auch einiges. Der Copilot hat bei...



Aktuell auf der Startseite von Golem.de
El-Ali-Meteorit
Forscher entdecken zwei neue Minerale in einem Meteoriten

In einer Probe aus einem in Somalia niedergegangenen Meteoriten wurden zwei Mineralien entdeckt, die auf der Erde so bisher nicht gefunden wurden.

El-Ali-Meteorit: Forscher entdecken zwei neue Minerale in einem Meteoriten
Artikel
  1. Volodrone: DLR erprobt Ausweichmanöver von Frachtdrohnen
    Volodrone
    DLR erprobt Ausweichmanöver von Frachtdrohnen

    Autonom fliegende Paketdrohnen sollten nicht mit Rettungshubschraubern kollidieren. Das wird nun vom DLR in Magdeburg getestet.

  2. Kindle Scribe im Test: Amazons E-Book-Reader lernt schreiben
    Kindle Scribe im Test
    Amazons E-Book-Reader lernt schreiben

    Amazons Kindle Scribe soll sowohl E-Reader als auch Remarkable-Notiz-Tablet sein. Diese interessante Mischung hat ihre Vor- und Nachteile.
    Ein Test von Tobias Költzsch

  3. Smartphone: Nächstes iPhone soll verbesserten Sony-Sensor bekommen
    Smartphone
    Nächstes iPhone soll verbesserten Sony-Sensor bekommen

    Sonys neuer Bildsensor soll die Lichtempfindlichkeit verdoppeln, Über- und Unterbelichtung sollen entsprechend reduziert werden.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 bestellbar • Tiefstpreise: Crucial SSD 4TB 319€, Palit RTX 4080 1.499€, HTC Vive Pro 2 659€ • Alternate: Team Group SSD 512GB 29,99€, AOC Curved 27" 240 Hz 199,90€ • Samsung Cyber Week • Top-TVs (2022) LG & Samsung über 40% günstiger • AOC Curved 34" WQHD 389€ [Werbung]
    •  /