Adobe Firefly generiert Soundeffekte, die Nutzer per Stimme vormachen

Adobe Firefly erweitert sein KI-Repertoire um neue Videofunktionen und einen innovativen Sound-Generator. Mit der "Generate Sound Effects"-Funktion können Nutzer Soundeffekte per Textbeschreibung erstellen, aber auch selbst "vorsprechen" und vormachen.

Neue Werkzeuge für kreative Produktion

Adobe erweitert die Funktionen seiner KI-Plattform Firefly um mehrere leistungsstarke neue Videofunktionen und vor allem einen innovativen Sound-Generator. Die Updates umfassen verbesserte Bewegungsdarstellung, erweiterte Videosteuerungsmöglichkeiten und die neue "Generate Sound Effects"-Funktion, die es Nutzern ermöglicht, maßgeschneiderte Soundeffekte für ihre Projekte zu erstellen.

Die Verbesserungen des Firefly Video Models beinhalten eine erhöhte Bewegungstreue, wodurch Videogenerierungen natürlicher wirken und flüssigere Übergänge bieten. Besonders bei der Darstellung von Landschaften, Tieren und atmosphärischen Elementen wie Wettereffekten zeigt das Modell deutliche Fortschritte. Zu den neuen Steuerungswerkzeugen gehören "Composition Reference for Video", das es ermöglicht, ein Referenzvideo hochzuladen und dessen Komposition auf neue Generierungen zu übertragen.

Wie Adobe in einem Blogbeitrag bekannt gab, führt Adobe nun auch "Generate Sound Effects" ein - ein neues Tool, das es Kreativen ermöglicht, mithilfe von KI diverse Geräusche für Videos zu generieren. Die Funktion wird zunächst in der Beta-Version der Firefly-App eingeführt.

Soundeffekte per Spracheingabe

Spannend ist vor allem das Sound-Generator-Tool: Dieses wird von der KI-Engine Firefly angetrieben und ermöglicht es Nutzern, benutzerdefinierte Soundeffekte aus Textbeschreibungen zu erstellen. Das Besondere daran: Man kann die KI auch mit der eigenen Stimme steuern, indem man Audiohinweise aufzeichnet, um Soundeffekte präzise mit Aktionen im Video zu synchronisieren.

Mit der "Voice to Sound Effects"-Funktion können Nutzer ihre Stimme als Vorgabe für die Generierung von Soundeffekten verwenden. In einer Demonstration, die Adobe präsentierte, ahmte ein Nutzer etwa das Geräusch einer Reißverschluss-Bewegung nach, indem er ein "zzzztttt"-Geräusch machte. Das Modell nutzte diese Vorlage, um den Effekt in der gewünschten Lautstärke naturgetreu zu reproduzieren. Ähnlich funktionierte das mit dem Muhen einer Kuh (siehe Video oben).

Was Firefly von herkömmlichen Sound-Bibliotheken unterscheidet, ist der Fokus auf Qualität und Benutzerfreundlichkeit. so Adobe. Die KI stellt sicher, dass Soundeffekte Studioqualität haben und für jedes kreative Projekt geeignet sind, sei es kommerziell oder persönlich. Das Tool ist zudem für die kommerzielle Nutzung konzipiert. Nutzer können Soundeffekte generieren und in ihre Projekte einbinden, ohne Lizenzgebühren zahlen zu müssen, solange sie die Nutzungsrichtlinien von Adobe einhalten.

Avatar-gestützte Videos

Eine weitere Neuerung ist die "Text to Avatar"-Funktion (Beta), mit der Nutzer Skripte in Avatar-geführte Videos umwandeln können. Nutzer können aus einer Bibliothek von Avataren wählen, den Hintergrund anpassen und den Akzent auswählen, der am besten zum Video passt. Adobe gibt an, dass das Tool für Aufgaben wie die Erstellung von Lektionen oder FAQ-Videos oder sogar die Umwandlung von geschriebenen Blogbeiträgen in Inhalte für soziale Medien konzipiert ist.

Was haltet ihr von den neuen Audio- und Videofunktionen in Adobe Firefly? Könntet ihr euch vorstellen, selbst Soundeffekte mit eurer Stimme zu erstellen oder Avatar-geführte Videos für eure Projekte zu nutzen? Teilt eure Gedanken und Erfahrungen mit uns in den Kommentaren!

Siehe auch: