Pix2Code: KI-System macht aus Bildern selbst GUI-Quellcode

Bisher wähnten sich zumindest Programmierer sicher, wenn wieder einmal die Rede davon war, dass Künstliche Intelligenzen alle möglichen Jobs überflüssig machen. Immerhin müssen diese ja von irgendwem programmiert werden. Ein Trugschluss, wie sich nun zeigt. Denn in Dänemark arbeitet ein Entwickler-Team beim Unternehmen UIzard Technologies quasi an seiner eigenen Abschaffung.

Sie haben nun die ersten Ergebnisse ihrer Arbeit öffentlich gezeigt - und auch in einem wissenschaftlichen Paper publiziert. Ihre KI-Applikation Pix2Code hat es über Deep Learning-Verfahren bereits gelernt, Code zu schreiben. Allerdings gilt dies bisher nur für einen speziellen Anwendungsfall.

Dieser dürfte von vielen Programmierern erst einmal begrüßt werden. Denn die KI schafft es, die mit einem Bildverarbeitungsprogramm gestaltete Vorlage für eine Benutzeroberfläche in den Code für verschiedene GUI-Bedienelemente umzuwandeln. Das würde bei der Anwendungsentwicklung im Grunde einen Teil der Routine-Arbeiten einsparen (die aber ohnehin nur selten noch manuell erledigt werden) und es den Programmierern erlauben, sich auf die eigentlichen Applikations-Routinen im Hintergrund zu konzentrieren.


In ihrem Demo-Video zeigen die Entwickler von UIzard die Funktionsweise ihrer KI in zwei Beispielen. Einmal geht es darum, den Entwurf einer GUI für eine iOS-Applikation in Code umzuwandeln - das Ergebnis dürfte hier entsprechend Objective C- oder Swift-Code sein. Ein zweites Beispiel zeigt die Umwandlung einer Oberfläche mit diversen Buttons für das Web - also ein Ergebnis aus HTML, CSS und vielleicht auch JavaScript.

Laut Firmengründer Tony Beltramelli schafft Pix2Code schon eine Korrektheit von 77 Prozent. Da es sich um ein selbstlernendes System handelt, ist hier aber schnell mit weiteren Fortschritten zu rechnen. Und grundsätzlich ist auch annehmbar, dass eine KI auch die Entwicklung der Applikations-Routinen lernen kann. Darauf deuten unter anderem Experimente hin, bei denen ein selbstlernendes System es schaffte, aus der Beobachtung des Bildschirm-Geschehens die Bedienung von Arcade-Spielen zu folgern.

Download Visual Studio Community - Kostenlose Entwicklungsumgebung