Programmierung: Githubs Copilot produziert Bugs und Sicherheitslücken

Laut einer Studie sind 40 Prozent der Vorschläge von Githubs auf Machine-Learning basierendem Programmierassistenten Copilot mit Fehlern behaftet.

Artikel veröffentlicht am ,
Nicht alle Bugs sind so leicht zu finden wie dieser.
Nicht alle Bugs sind so leicht zu finden wie dieser. (Bild: Lauren Hammond via flickr/CC-BY 2.0)

Copilot von Github ist ein Werkzeug, das Programmierern die Arbeit erleichtern soll. In einem Paper haben Forscher eine Analyse über die Auswirkungen hinsichtlich Cybersicherheit veröffentlicht.

Stellenmarkt
  1. IT Support- und Digitalisierungsmanager(in) (w/m/d)
    Krone gebäudemanagment und technologie gmbh, Berlin
  2. Softwareentwickler:in Java / Selenium / Cloud
    HUK-COBURG Versicherungsgruppe, Coburg
Detailsuche

Über normale Code-Completion hinausgehend soll der Machine-Learning-basierte (ML) KI-Assistent ganze Blöcke von Programmcode generieren. Die Intention des Programmierers extrahiert Copilot zum Beispiel aus ein paar Variablendeklarationen und Kommentaren, in denen die Intention kurz formuliert wird.

40 Prozent fehlerhafter Code

Das Forscherteam fand heraus, dass 40 Prozent des von Copilot vorgeschlagenen Sourcecodes fehlerbehaftet war. "Während Copilot schnell ungeheure Mengen an Code generieren kann, zeigen unsere Schlussfolgerungen, dass Entwickler bei der Verwendung wachsam bleiben sollten." Zusätzlich weisen sie darauf hin, dass es wichtig wäre, Tools wie Copilot mit Sicherheitsanalysetools "während Training und Generierung" zu kombinieren "um das Risiko der Einführung von Sicherheitsschwachstellen zu minimieren."

Damit weisen die Forscher wieder einmal auf ein altbekanntes Problem mit ML-KIs auf: Um die ML-Modelle zu trainieren, wird eine riesige Menge Daten benötigt. Ist diese Datenmenge aber nicht ausreichend kuriert, ergeben sich Probleme, weil das Modell schlechte Angewohnheiten übernimmt. Bisher aber wird mehr nach dem Prinzip Hoffnung gehandelt, dass die schlechten Beispiele praktisch in den Wahrscheinlichkeitsbäumen überstimmt werden, wenn die guten Beispiele überwiegen.

Golem Akademie
  1. Jira für Systemadministratoren: virtueller Zwei-Tage-Workshop
    9.–10. Dezember 2021, virtuell
  2. Einführung in die Programmierung mit Rust: virtueller Fünf-Halbtage-Workshop
    21.–25. März 2022, Virtuell
Weitere IT-Trainings

Das zu Microsoft gehörende Github und OpenAI, auf dessen GPT-3-Codex-Modell Copilot basiert, wissen das auch. Schon zum Start von Copilot wurde darauf hingewiesen, dass die Codes des künstlichen Partners für Pair Programming vom menschlichen Teil des Paares genau überprüft werden sollten.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


osion 28. Aug 2021

Fehlercode ist Fehlercode...Sobald es fehlerhaft ist, muss man alles immer auf die...

Hanmac 26. Aug 2021

Oder für sonstige Geheimdienste

Gamma Ray Burst 26. Aug 2021

Die Comprehensions sind nicht unbedingt schön, aber sie sind kurz

toj 26. Aug 2021

Wenn du nicht allwissend bist, verpasst du damit aber auch einiges. Der Copilot hat bei...

Katsuragi 26. Aug 2021

Hier geht es darum, dass eine KI ("Keine Intelligenz") aus bestehendem Code...



Aktuell auf der Startseite von Golem.de
Resident Evil (1996)
Grauenhaft gut

Resident Evil zeigte vor 25 Jahren, wie Horror im Videospiel auszusehen hat. Wir schauen uns den Klassiker im Golem retro_ an.

Resident Evil (1996): Grauenhaft gut
Artikel
  1. IT-Sicherheit: MI5-Expertin fordert gemeinsame Abwehr von Cyber-Gefahren
    IT-Sicherheit
    MI5-Expertin fordert gemeinsame Abwehr von Cyber-Gefahren

    Der britische Geheimdienst warnt vor staatlich unterstützen Cyberattacken und manipulativer Wahleinmischung durch fremde Staaten.

  2. Kanadische Polizei: Diebe nutzen Apples Airtags zum Tracking von Luxuswagen
    Kanadische Polizei
    Diebe nutzen Apples Airtags zum Tracking von Luxuswagen

    Autodiebe in Kanada nutzen offenbar Apples Airtags, um Fahrzeuge heimlich zu orten.

  3. 4 Motoren und 4-Rad-Lenkung: Tesla aktualisiert Cybertruck
    4 Motoren und 4-Rad-Lenkung
    Tesla aktualisiert Cybertruck

    Tesla-Chef Elon Musk hat einige Änderungen am Cybertruck angekündigt. Der elektrische Pick-up-Truck wird mit vier Motoren ausgerüstet.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Saturn-Advent: Samsung Portable SSD T5 1 TB 84€ • ViewSonic VX2718-2KPC-MHD (WQHD, 165 Hz) 229€ • EPOS Sennheiser GSP 670 199€ • EK Water Blocks Elite Aurum 360 D-RGB All in One 205,89€ • KFA2 Geforce RTX 3070 OC 8GB 1.019€ • Alternate (u. a. AKRacing Core SX 269,98€) [Werbung]
    •  /