Meta dévoile Movie Gen, une nouvelle génération de modèles d’IA capables de créer et d’éditer des vidéos et de l’audio à partir de simples instructions textuelles. Ces modèles surpasseraient les technologies existantes et marquent une avancée significative dans la création multimédia assistée par l’IA.
Cette annonce intervient plusieurs mois après que son concurrent OpenAI a dévoilé Sora, son modèle de conversion de texte en vidéo, bien que l’accès public à Movie Gen ne soit pas encore possible.
Movie Gen permet de générer des vidéos allant jusqu’à 16 secondes à partir de descriptions textuelles, de créer des vidéos mettant en scène une personne spécifique à partir de son image et d’un texte, et d’éditer des vidéos existantes en ajoutant, supprimant ou remplaçant des éléments avec précision. L’IA peut même générer des pistes audio synchronisées avec le contenu vidéo, incluant des sons d’ambiance, des effets sonores et de la musique de fond.
Meta Movie Gen is on the scene! Our breakthrough generative AI research for media enables:
-turning text into video
-creation of personalized video
-precision video editing
-audio creationAnd while it’s just research today, we can’t wait to see all the ways people enhance… pic.twitter.com/I4Bq9if3eK
— Meta (@Meta) October 4, 2024
La sortie vidéo a une largeur de 768 pixels, ce qui nous ramène à l’époque du 1024 × 768 pixels, mais c’est plus que suffisant pour se combiner avec d’autres formats HD.
Meta affirme que Movie Gen atteint des résultats exceptionnels en matière de qualité vidéo, de personnalisation, de précision d’édition et d’alignement audio-vidéo. Ces performances sont attribuées à des innovations techniques dans l’architecture des modèles, les données d’entraînement et les méthodes d’évaluation.
Movie Gen pas encore lancé
L’entreprise envisage de collaborer avec des cinéastes et des créateurs pour faire de Movie Gen un outil de création puissant et accessible à tous. Les potentielles applications de Movie Gen incluent la création de vidéos animées pour les réseaux sociaux, la génération de messages d’accueil personnalisés et l’édition de vidéos à l’aide de commandes textuelles simples.
Meta n’a pas encore communiqué de date de sortie pour Movie Gen. La génération de vidéos par l’IA est encore en phase de développement, mais Movie Gen pourrait bien accélérer son adoption et démocratiser la création vidéo. Malgré cela, Meta a déclaré qu’elle « partageait cette recherche parce que nous croyons au pouvoir de cette technologie pour aider les gens à s’exprimer d’une nouvelle manière et pour offrir des opportunités à des personnes qui n’en auraient peut-être pas autrement ».
L’entreprise espère qu’un jour les gens pourront « donner vie à leurs visions artistiques » grâce à un accès universel au programme.
Comment Movie Gen de Meta a-t-il été formé ?
Movie Gen et ses quatre « capacités » (génération de vidéos, génération de vidéos personnalisées, montage vidéo précis et génération audio) auraient été entraînés en utilisant « une combinaison d’ensembles de données sous licence et accessibles au public », le contenu vidéo ayant probablement été obtenu à partir des plateformes de Meta telles que Facebook et Instagram.
L’une des pierres d’achoppement des générateurs de vidéos était la possibilité d’éditer. La société de Mark Zuckerberg s’est attaquée à ce problème, dans une certaine mesure. Movie Gen introduit une méthode d’édition basée sur le texte que vous pouvez utiliser pour une édition de base. Il peut s’agir de « changer l’arrière-plan en un ciel nocturne urbain », mais il n’effectuera que le changement spécifié.
