Github Copilot: Microsofts Programmier-KI macht gravierende Fehler

Ein KI-gestützter Copilot soll Entwicklern auf Microsofts GitHub-Plattform das Leben erleichtern, indem eigenständig Codes generiert und ergänzt werden. Häufig sind die Ergebnisse aber nicht nur voller Fehler, sondern erzeugen auch Sicherheitslücken. Es geht dabei keineswegs um gelegentliche Ausrutscher. In einer größeren Untersuchung, deren Ergebnisse jetzt publiziert wurden, zeigte sich, dass der vom Autopiloten generierte Code in 40 Prozent aller Fälle als problematisch einzustufen war. Es wäre daher fatal, wenn Programmierer die angebotene Hilfestellung einfach annehmen und nicht einer tiefergehenden Prüfung unterziehen.

Der Copilot funktioniert sehr viel umfassender als die schon lange in vielen Entwicklungs-Umgebungen existierende Code-Komplettierung, bei der lediglich Namen von Funktionen und Werten und andere kleinere Elemente vervollständigt werden, um Tipparbeit zu sparen. Die Code-Struktur stammt hier weiterhin vollständig vom jeweiligen Programmierer.

Zu gut, um wahr zu sein

Microsoft meinte jedoch, dass die KI-Systeme bereits weit genug sind, um mehr zu schaffen. Beim Copiloten GitHubs genügen Variablen-Deklarationen und Kommentare, die vom Algorithmus analysiert werden. Daraus leitet die KI dann ab, welche Funktion benötigt wird und schreibt selbstständig den dafür benötigten Code.

Bei Microsoft ist man sich durchaus darüber bewusst, dass man von dem automatischen System nicht zu viel erwarten sollte. Es wird auch explizit darauf hingewiesen, dass es nicht die beste Idee ist, sich einfach blind auf den generierten Code zu verlassen. Allerdings dürfte das Ergebnis der externen Untersuchung dann überraschend für viele sein, da sich eine so hohe Fehlerquote dann doch nach einem ziemlich unausgegorenen Feature anhört. Letztlich ist dies aber eben auch den Eigenarten der KI-Entwicklung zuzuschreiben, die schon einer extrem großen und guten Datenbasis für das Training bedürfte, um auch entsprechend hochwertige Ergebnisse zu bringen.

Siehe auch: