Nvidia demonstriert KI für Slow-Motion-Videos ohne Spezialkamera

Forscher von Nvidia haben ein neues Verfahren für das Erstellen von Zeitlupenvideos entwickelt. Anstatt speziellem Kamera-Equipment kommt dabei allerdings ein Deep-Learning-basiertes System zum Einsatz, das bereits vorhandene Aufnahmen verarbeiten kann.

Software statt Hardware

Das Team hatte ein cuDNN-beschleunigtes PyTorch-Deep-Learning-Framework sowie mehrere GPUs vom Typ Tesla V100 mit mehr als 11.000 Videos von sportlichen Aktivitäten und Alltagssituationen gefüttert, welche jeweils mit 240 Bildern pro Sekunde aufgenommen worden waren. Auf dieser Grundlage ist es dem neuralen Netzwerk dann gelungen, die zusätzlichen Frames zu berechnen.

Herkömmliche Videos, etwa einfache Handy-Aufnahmen mit 30 Bildern pro Sekunde, lassen sich mit der Software in Superzeitlupen mit bis zu 480 Bildern pro Sekunde umwandeln. In einem Video demonstrieren die Forscher die neue Technologie und machen dabei unter anderem auch bereits vorhandene Zeitlupenaufnahmen der Slow Mo Guys noch langsamer.

Die Forscher werden ihre Arbeit noch in dieser Woche auf der Computer Vision and Pattern Recognition (CVPR) Konferenz in Salt Lake City genauer präsentieren. Ob, wann und in welcher Form Nvidia die Technologie interessierten Nutzern bereitstellen wird, ist derzeit noch nicht bekannt.

Dieses Video empfehlen

Kommentieren10

Tags:

Jetzt einen Kommentar schreiben

[o1] am ++--

Für einfache Bewegungen von Objekten bestimmt sinnvoll, da man ja nur die Position berechnen muss und den Schatten.
Bei Chemischen Reaktionen stelle ich mir das aber schwierig vor, da diese komplexe Bilder produzieren.

[re:1] am ++2 --

@TobiasH: nun, wenn du in einem Labor arbeitest und an Forschungen welche "die Welt verändern sollen" arbeitest, wäre es auch Armselig nicht die notwendige Hardware zu haben...

Aber für Privat, z.B. mit einem Smartphone wäre das doch genial... <- und ich glaub genau da kann man das doch gut einsetzen :)

... und bevor jetzt jemand kommt "mehrere GPUS und Tesla und bla" und dann verwendet er was Wort Smartphone (wo doch die Grafikkarte mehr als das Handy kostet).
2 Möglichkeiten 1. Cloudcomputing 2. einfach länger warten :)

[o2] am ++--

Das ist bloß keine SloMo mehr sondern CGI auf Basis einer echten Aufnahme

[re:1] am ++--

@Fropen: Sehe ich auch so. Es kehrt den Sinn einer Videoaufnahme um (wie z.B. bei der Sportübertragung). Man sieht nicht mehr das, was war, sondern das, was erwartet wurde.

[re:1] am ++--

@Runaway-Fan: wie oben schon geschrieben, dafür ist das nicht geeignet...
> so viele Gelder wie bei Sportübertragungen laufen!?

Die haben das Equip...

ich sehe da rein den Privatsektor, die Hobbyfilmer die einfach einen "nicht ruckeligen Film produzieren wollen" gleichzeitig aber kein Geld in die Handnehmen wollen <- also eben nur das Smartphone was eben schon da ist... irgendwie aber nicht so gut ist

[o3] am ++1 --

Mich würde mal interessieren ob man damit die Framerate von Animes erhöhen kann.

[re:1] am ++--

@jesus2k: ganz bestimmt. du spielst sicherlich auf den svp-encoder an. Wenn es sogar schon bei realen Umgebungen so gut funktioniert ist ein Anime wohl keine Hürde für die Software

[o4] am ++--

Versteht niemand um was es hier geht?

Ein beliebiges 60 fps Video kann in Super Slowmotion wiedergegeben werden, die Grafikkarte berechnet dafür die notwendigen Zwischenbilder.

Qualcomm/Android und Apple arbeiten mit ähnlichen Tricks. Echte Highspeed Kameras kosten ein Vermögen.

Neu ist lediglich das NVidia auf den Zug aufgesprungen ist.