Pix2Code: KI-System macht aus Bildern selbst GUI-Quellcode

Benutzeroberfläche, Künstliche Intelligenz, Ki, Programmierung, Deep Learning, Gui, Pix2Code, UIzard Technologies Benutzeroberfläche, Künstliche Intelligenz, Ki, Programmierung, Deep Learning, Gui, Pix2Code, UIzard Technologies
Bisher wähnten sich zumindest Programmierer sicher, wenn wieder einmal die Rede davon war, dass Künstliche Intelligenzen alle möglichen Jobs überflüssig machen. Immerhin müssen diese ja von irgendwem programmiert werden. Ein Trugschluss, wie sich nun zeigt. Denn in Dänemark arbeitet ein Entwickler-Team beim Unternehmen UIzard Technologies quasi an seiner eigenen Abschaffung.

Sie haben nun die ersten Ergebnisse ihrer Arbeit öffentlich gezeigt - und auch in einem wissenschaftlichen Paper publiziert. Ihre KI-Applikation Pix2Code hat es über Deep Learning-Verfahren bereits gelernt, Code zu schreiben. Allerdings gilt dies bisher nur für einen speziellen Anwendungsfall.

Dieser dürfte von vielen Programmierern erst einmal begrüßt werden. Denn die KI schafft es, die mit einem Bildverarbeitungsprogramm gestaltete Vorlage für eine Benutzeroberfläche in den Code für verschiedene GUI-Bedienelemente umzuwandeln. Das würde bei der Anwendungsentwicklung im Grunde einen Teil der Routine-Arbeiten einsparen (die aber ohnehin nur selten noch manuell erledigt werden) und es den Programmierern erlauben, sich auf die eigentlichen Applikations-Routinen im Hintergrund zu konzentrieren.

Pix2CodePix2CodePix2CodePix2CodePix2CodePix2Code

In ihrem Demo-Video zeigen die Entwickler von UIzard die Funktionsweise ihrer KI in zwei Beispielen. Einmal geht es darum, den Entwurf einer GUI für eine iOS-Applikation in Code umzuwandeln - das Ergebnis dürfte hier entsprechend Objective C- oder Swift-Code sein. Ein zweites Beispiel zeigt die Umwandlung einer Oberfläche mit diversen Buttons für das Web - also ein Ergebnis aus HTML, CSS und vielleicht auch JavaScript.

Laut Firmengründer Tony Beltramelli schafft Pix2Code schon eine Korrektheit von 77 Prozent. Da es sich um ein selbstlernendes System handelt, ist hier aber schnell mit weiteren Fortschritten zu rechnen. Und grundsätzlich ist auch annehmbar, dass eine KI auch die Entwicklung der Applikations-Routinen lernen kann. Darauf deuten unter anderem Experimente hin, bei denen ein selbstlernendes System es schaffte, aus der Beobachtung des Bildschirm-Geschehens die Bedienung von Arcade-Spielen zu folgern.

Download Visual Studio Community - Kostenlose Entwicklungsumgebung
Dieses Video empfehlen
Kommentieren3
Jetzt einen Kommentar schreiben
 
Aha, und das nennt sich also heute KI? Ok... Wenn Ihr meint...
 
@rallef: Definitiv. Das Programm bekam Bilder von Benutzeroberflächen und den dazugehörigen Quelltext. Mit diesen Daten kann es nun selbst die Bilder analysieren und daraus eigenverantwortlich Code generieren. Das Programm hat sich das Wissen also selbst angeeignet und könnte sich auch andere Programmiersprachen beibringen; sie sind also nicht im Vorraus fest einprogrammiert worden.
 
Ist schon erstaunlich, was sich da an kleinen, aber feinen Programmiertools entwickelt hat. Schade nur, das man da nicht ran kommt.
Kommentar abgeben Netiquette beachten!
Einloggen