Firefly, le service d’IA générative d’Adobe, deviendra un copilote pour la production vidéo, accélérant ainsi le processus.
Adobe suit les traces d’entreprises telles que RunwayML, qui permettent l’édition vidéo basée sur l’IA et, dans certains cas, expérimentent des modèles de conversion de texte en vidéo.
Les projets d’Adobe, dévoilés lors de la conférence NAB (National Association of Broadcasters) de cette année, prévoient dans un premier temps l’intégration de la famille Firefly de modèles générateurs d’IA dans les flux de travail existants.
Lors de la conférence NAB, Adobe a montré comment Firefly peut contribuer au montage vidéo, ainsi qu’à l’audio, à l’animation et au graphisme de mouvement.
Firefly est conçu pour être un copilote créatif, réduisant le temps de post-production de plusieurs jours à quelques minutes.
Adobe Firefly comme copilote dans la production vidéo
La société expérimente actuellement diverses applications : par exemple, vous pouvez utiliser du texte pour modifier l’heure ou la palette de couleurs d’une vidéo, générer des sons ou de courts morceaux de musique, créer des sous-titres, des logos ou des animations, convertir des scripts directement en story-boards avec des aperçus initiaux, ou trouver des clips B-roll appropriés à partir de séquences vidéo existantes.
Les nouvelles capacités de génération d’IA pour la vidéo, l’audio, l’animation et la conception de graphiques animés devraient être disponibles dans le courant de l’année. Les personnes intéressées peuvent s’inscrire à la version bêta de Firefly. Une session communautaire en direct sera également organisée sur YouTube le jeudi 20 avril.
Adobe ne propose pas encore de modèles texte-vidéo
L’entreprise n’a pas encore annoncé officiellement la création d’un modèle texte-vidéo. Toutefois, comme l’annonce de Firefly fait référence à la synthèse d’effets d’image et de texte comme une première étape, il est très probable qu’Adobe travaille également sur un modèle texte-vidéo à un moment donné dans l’avenir. RunwayML teste actuellement un tel modèle génératif pour la vidéo avec Gen-2.
Outre les nouvelles applications pour Firefly, Adobe a également annoncé une fonction d’édition de texte pour Adobe Premiere Pro au NAB. Cette fonction d’édition de texte est basée sur Adobe Sensei et transcrit automatiquement le média source.
Elle permet de rechercher plus rapidement les séquences transcrites et d’effectuer un montage basé sur le texte : les utilisateurs peuvent coller des phrases de la transcription dans la chronologie et Adobe Premiere Pro modifie automatiquement la vidéo en fonction de la transcription.
