KI als Programmierer im Test:
Entwickler müssen ganz genau aufpassen

KI-Bots werden immer häufiger herangezogen, wenn Programmier-Aufgaben beschleunigt werden sollen. Denn sie können viele Entwickler-Aufgaben zu einem guten Teil übernehmen. Beim Berufsverband der Entwickler hat man nun genauer geprüft, wie gut KIs dabei sind.

Code funktioniert, aber ...

In der Untersuchung durch das Institute of Electrical and Electronics Engineers (IEEE) konzentrierte man sich auf OpenAIs ChatGPT, da dieses aktuell am häufigsten zum Einsatz kommt. Geprüft wurde, wie gut der erzeugte Code in Bezug auf Funktionalität, Komplexität und Sicherheit ist.

Die Ergebnisse zeigen, dass ChatGPT bei der Erstellung von funktionellem Code tatsächlich äußerst erfolgreich ist. Die Erfolgsquote variierte je nach Schwierigkeitsgrad der Aufgabe, der Programmiersprache und einer Reihe anderer Faktoren allerdings recht stark und lag zwischen 0,66 Prozent und 89 Prozent liegt. In einigen Fällen wurde der KI sogar bescheinigt, besseren Code zu produzieren als menschliche Entwickler. Infografik: Wie wichtig KI-Kenntnisse auf dem Arbeitsmarkt sind Um den Chatbot aber als gute Ergänzung für die Entwicklungsarbeit einzusetzen, müsse man auch die Stärken und Schwächen der Technologie verstehen, lautet das Fazit der IEEE. Denn es zeigte sich beispielsweise, dass der Code erledigt, was er tun soll. Allerdings fällt es der KI schwer, das große Ganze im Blick zu behalten. Das sorgt dafür, dass es um die Sicherheits-Aspekte des Codes in der Regel nicht besonders gut bestellt ist.

Trainingsdaten im Fokus

Um genau einschätzen zu können, wo es sich lohnt, ChatGPT und Co. in der Programmierung einzusetzen, sollte man laut den Untersuchungsergebnissen verstehen, wie diese Systeme funktionieren. Es handelt sich immerhin vor allem um Algorithmen, die aufgrund ihres Trainingsmaterials sehr effizient statistische Wahrscheinlichkeiten berechnen können.

Entsprechend sind die KIs bei der Programmierung dann besonders erfolgreich, wenn die gleichen oder fast identische Aufgaben bereits in den Trainingsdaten vorhanden waren. Bei ChatGPT sind dies Aufgaben, die die vor 2021 auf LeetCode existierten. Probleme, die erst vor Monaten erstmals in die Code-Datenbank einflossen, sind hingegen bisher nicht in den Trainingsdaten enthalten gewesen und können von dem OpenAI-Algorithmus entsprechend schlechter gelöst werden.


Siehe auch: