Nvidia demonstriert KI für Slow-Motion-Videos ohne Spezialkamera

Forschung, Nvidia, Künstliche Intelligenz, Ki, Deep Learning, Slow Motion, Zeitlupe Forschung, Nvidia, Künstliche Intelligenz, Ki, Deep Learning, Slow Motion, Zeitlupe
Forscher von Nvidia haben ein neues Verfahren für das Erstellen von Zeitlupenvideos entwickelt. Anstatt speziellem Kamera-Equipment kommt dabei allerdings ein Deep-Learning-basiertes System zum Einsatz, das bereits vorhandene Aufnahmen verarbeiten kann.

Software statt Hardware

Das Team hatte ein cuDNN-beschleunigtes PyTorch-Deep-Learning-Framework sowie meh­re­re GPUs vom Typ Tesla V100 mit mehr als 11.000 Videos von sportlichen Aktivitäten und Alltagssituationen gefüttert, welche jeweils mit 240 Bildern pro Sekunde aufgenommen wor­den waren. Auf dieser Grundlage ist es dem neuralen Netzwerk dann gelungen, die zusätzlichen Frames zu berechnen.

Herkömmliche Videos, etwa einfache Handy-Aufnahmen mit 30 Bildern pro Sekunde, lassen sich mit der Software in Superzeitlupen mit bis zu 480 Bildern pro Sekunde umwandeln. In einem Video demonstrieren die Forscher die neue Technologie und machen dabei unter an­de­rem auch bereits vorhandene Zeitlupenaufnahmen der Slow Mo Guys noch langsamer.

Die Forscher werden ihre Arbeit noch in dieser Woche auf der Computer Vision and Pattern Recognition (CVPR) Konferenz in Salt Lake City genauer präsentieren. Ob, wann und in welcher Form Nvidia die Technologie interessierten Nutzern bereitstellen wird, ist derzeit noch nicht bekannt.
Dieses Video empfehlen
Kommentieren7
Jetzt einen Kommentar schreiben
 
Für einfache Bewegungen von Objekten bestimmt sinnvoll, da man ja nur die Position berechnen muss und den Schatten.
Bei Chemischen Reaktionen stelle ich mir das aber schwierig vor, da diese komplexe Bilder produzieren.
 
@TobiasH: nun, wenn du in einem Labor arbeitest und an Forschungen welche "die Welt verändern sollen" arbeitest, wäre es auch Armselig nicht die notwendige Hardware zu haben...

Aber für Privat, z.B. mit einem Smartphone wäre das doch genial... <- und ich glaub genau da kann man das doch gut einsetzen :)

... und bevor jetzt jemand kommt "mehrere GPUS und Tesla und bla" und dann verwendet er was Wort Smartphone (wo doch die Grafikkarte mehr als das Handy kostet).
2 Möglichkeiten 1. Cloudcomputing 2. einfach länger warten :)
 
Das ist bloß keine SloMo mehr sondern CGI auf Basis einer echten Aufnahme
 
@Fropen: Sehe ich auch so. Es kehrt den Sinn einer Videoaufnahme um (wie z.B. bei der Sportübertragung). Man sieht nicht mehr das, was war, sondern das, was erwartet wurde.
 
@Runaway-Fan: wie oben schon geschrieben, dafür ist das nicht geeignet...
> so viele Gelder wie bei Sportübertragungen laufen!?

Die haben das Equip...

ich sehe da rein den Privatsektor, die Hobbyfilmer die einfach einen "nicht ruckeligen Film produzieren wollen" gleichzeitig aber kein Geld in die Handnehmen wollen <- also eben nur das Smartphone was eben schon da ist... irgendwie aber nicht so gut ist
 
Mich würde mal interessieren ob man damit die Framerate von Animes erhöhen kann.
 
Versteht niemand um was es hier geht?

Ein beliebiges 60 fps Video kann in Super Slowmotion wiedergegeben werden, die Grafikkarte berechnet dafür die notwendigen Zwischenbilder.

Qualcomm/Android und Apple arbeiten mit ähnlichen Tricks. Echte Highspeed Kameras kosten ein Vermögen.

Neu ist lediglich das NVidia auf den Zug aufgesprungen ist.
Kommentar abgeben Netiquette beachten!
Einloggen