Facebook-KI manipuliert Videos in Echtzeit auf dem Smartphone

Künstliche Intelligenz-Algorithmen sind keineswegs nur geeignet, um die Interaktion von Anwendungen mit dem Menschen anders zu gestalten, sondern erschließen auch in anderen Bereichen enormes Potenzial. Das zeigt Facebook jetzt mit einer Video-Bearbeitung in Echtzeit auf dem Smartphone. Die Entwickler des Unternehmens haben ein Deep Learning-System namens Caffe2Go entwickelt, das seine Aufgaben nicht mehr auf einem Server absolviert, sondern als Framework direkt in die Smartphone-Apps von Facebook eingebaut wird. Hier kann es beispielsweise auf dem lokalen Gerät Videos in einer Form manipulieren, die so in Echtzeit bisher einen leistungsstarken Rechner erforderten.

Das Unternehmen demonstrierte dies anhand eines Live-Videostreams von einem Smartphone aus. Auf diesen können verschiedene Filter gelegt werden, die das Bildmaterial beispielsweise so manipulieren, dass es einem Van-Gogh-Gemälde oder einem Comic ähnelt. Möglich wurde dies, weil die Größe des dahinterstehenden KI-Modells um den Faktor 100 reduziert wurde, hieß es.

"Wir sind dadurch in der Lage, mehrere Neuronale Netze mit hoher Effizienz unter iOS oder Android zu betreiben", hieß es. Der Videostream erfährt durch die bei der Bildumwandlung nötigen Berechnungen lediglich eine Verzögerung von einer Zwanzigstel Sekunde - oder 50 Millisekunden.

Handy statt Server

Auf dem Mobiltelefon kennen die Nutzer solche Filter von diversen Foto-Apps. Es war bisher aber faktisch nicht möglich, diese Effizient genug zu gestalten, dass sie auch die vielen Einzelbilder einer Videoaufnahme von den relativ hoch auflösenden Smartphone-Kameras in Echtzeit bearbeiten konnten. Aufgaben dieser Art wurden entweder in der Cloud oder durch einen länger dauernden Render-Prozess auf dem lokalen Prozessor ausgeführt.

Beeindruckend ist vor allem die Zeit, in der das Verfahren entstanden ist. Erst im August 2015 hatten Informatiker erste KI-Modelle zu einer solchen Umgestaltung eines Videos in Echtzeit vorgestellt - die Technologie arbeitete aber noch relativ langsam und benötigte leistungsfähige Server. Es dauerte letztlich nur Monate, bis das Verfahren so weit optimiert war, dass es auch auf einem Smartphone-Chip reibungslos funktioniert. Behilflich ist dabei die Tatsache, dass die Algorithmen selbstlernend sind und so mit der Zeit immer besser darin wurden, optimale Methoden der Bildmanipulation herauszufinden.

In der nächsten Zeit sollen die Erkenntnisse aus der Entwicklung für alle KI-Projekte bei Facebook übernommen werden und diese wesentlich effizienter gestalten. In einigen Monaten will Facebook die Technologie außerdem im Rahmen eines Open Source-Projektes öffentlich bereitstellen, um anderen Entwicklern die Übernahme in eigene Anwendungen zu ermöglichen.