KIs sollen Coder schneller machen, doch real ist das Gegenteil der Fall

KI-Coding-Tools versprechen schnellere Entwicklung, doch eine Studie zeigt das Gegenteil: Erfahrene Entwickler arbeiten mit KI-Unterstützung 19 Prozent langsamer. Paradox dabei: Die Program­mierer glauben fälschlicherweise, durch KI schneller zu sein.

KI-Assistenten machen erfahrene Entwickler langsamer

Die Versprechen klingen verlockend: Künstliche Intelligenz soll Softwareentwickler produktiver machen und die Programmierarbeit beschleunigen. Doch eine aktuelle Studie zeigt, dass die Realität fundamental anders aussieht. Erfahrene Entwickler brauchen mit KI-Unterstützung tatsächlich deutlich länger für ihre Aufgaben - und bemerken diese Verlangsamung nicht einmal.
Infografik Generative KI: Welche GenAI-Tools werden in Deutschland genutzt?
Das überraschende Ergebnis stammt aus einer aktuellen Studie: Wenn Entwickler KI-Tools nutzen, benötigen sie 19 Prozent mehr Zeit als ohne KI-Unterstützung. Noch bemerkenswerter ist die Tatsache, dass die Teilnehmer selbst nach Abschluss der Untersuchung glaubten, die KI hätte ihnen geholfen, Aufgaben 20 Prozent schneller zu erledigen.

Forscher der gemeinnützigen Organisation Model Evaluation and Threat Research (METR) haben für ihre Untersuchung 16 erfahrene Entwickler aus großen Open-Source-Projekten rekrutiert. Diese Teilnehmer verfügten über umfangreiche Erfahrung mit Codebasen von durchschnittlich über einer Million Zeilen - ein wichtiger Faktor, der sich später als entscheidend für die Ergebnisse herausstellen sollte.

Die Wissenschaftler ließen die Entwickler insgesamt 246 reale Aufgaben bearbeiten, darunter Bugfixes, neue Features und Code-Überarbeitungen. Diese Aufgaben wurden zufällig in zwei Gruppen eingeteilt: mit oder ohne KI-Unterstützung. Bei erlaubter KI-Nutzung konnten die Entwickler frei wählen, hauptsächlich kam Cursor Pro mit Claude 3.5 und 3.7 Sonnet zum Einsatz. Die Forscher wählten bewusst reale Entwicklungsszenarien statt künstlicher Testaufgaben, um aussagekräftige Ergebnisse zu erhalten.

Wahrnehmung und Realität

Das Bemerkenswerte an der Studie ist die enorme Diskrepanz zwischen Wahrnehmung und Realität. Vor Beginn der Studie prognostizierten die Entwickler eine Beschleunigung von 24 Prozent durch KI-Unterstützung. Diese Fehleinschätzung zeigt, wie trügerisch das subjektive Empfinden bei der Nutzung neuer Technologien sein kann.

Die METR-Forscher identifizierten fünf Hauptgründe für die Verlangsamung:


Die Entwickler akzeptierten in der Praxis weniger als 44 Prozent der generierten Vorschläge und verbrachten erhebliche Zeit mit Überprüfung und Bereinigung der KI-Vorschläge bzw. -ergebnisse.

Zusätzliche Arbeit statt Zeitersparnis

Ein genauerer Blick auf die Arbeitsweise der Entwickler offenbart, wo die Zeit verloren geht, wie es in der Studie heißt: "Wenn KI erlaubt ist, verbringen Entwickler weniger Zeit mit aktivem Programmieren und der Suche nach oder dem Lesen von Informationen. Stattdessen verbringen sie Zeit damit, die KI anzuweisen, auf KI-Ausgaben zu warten, diese zu überprüfen oder sind untätig."

Entwickler investierten Zeit in die Formulierung und Verfeinerung von Prompts, die Qualität der KI-Vorschläge war oft unzureichend, und für Codebasen, die sie bereits gut kannten, bot die KI nur begrenzte Vorteile.

Die Ergebnisse stehen im Widerspruch zu vielen Marketingaussagen der KI-Branche, decken sich aber mit anderen wissenschaftlichen Untersuchungen. Eine aktuelle Studie des KI-Coding-Unternehmens Qodo ergab (via The Register), dass einige Vorteile der KI-Softwareunterstützung durch den zusätzlichen Aufwand zur Überprüfung von KI-Code-Vorschlägen zunichtegemacht wurden.

Differenzierte Betrachtung notwendig

Die Autoren der METR-Studie betonen, dass ihre Ergebnisse nicht verallgemeinert werden sollten. Sie weisen darauf hin, dass die beobachtete Verlangsamung nicht bedeutet, dass aktuelle KI-Tools generell die Produktivität von Entwicklern nicht verbessern können. "Wir finden Belege dafür, dass die hohe Vertrautheit der Entwickler mit den Repositories und die Größe und Reife der Repositories zur beobachteten Verlangsamung beitragen, und diese Faktoren gelten nicht in vielen Softwareentwicklungsumgebungen", erklären sie.

Die Forscher fügen hinzu, dass ihre Ergebnisse weder implizieren, dass aktuelle KI-Systeme nicht nützlich sind, noch dass zukünftige KI-Modelle nicht besser abschneiden werden. Besonders für weniger erfahrene Entwickler oder bei der Arbeit mit unbekannten Codebasen könnten KI-Tools durchaus Vorteile bieten.

Was haltet ihr von diesen Erkenntnissen? Habt ihr ähnliche Erfahrungen mit KI-Coding-Tools gemacht oder seid ihr schneller geworden? Teilt eure Erlebnisse in den Kommentaren mit.


Siehe auch: