MagicAnimate

MagicAnimate est un projet de recherche open source qui transforme une image fixe d’une personne en une vidéo animée fluide, en suivant une séquence de mouvement fournie. Conçu par des chercheurs de la National University of Singapore et de ByteDance, il s’appuie sur les modèles de diffusion pour produire des animations humaines temporellement cohérentes, c’est-à-dire dont l’apparence reste stable d’une image à l’autre. L’outil sert à donner vie à une photo de personnage en lui faisant reproduire des poses ou des gestes définis par une vidéo de référence.

Sur le plan technique, le système combine plusieurs composants : un encodeur d’apparence qui capture les détails de l’image source, un ControlNet basé sur DensePose pour guider le mouvement à partir d’un squelette, et des mécanismes d’attention temporelle assurant la continuité entre les images. Il repose sur Stable Diffusion V1.5 comme modèle de base. MagicAnimate propose une inférence mono ou multi-GPU, ainsi que des démonstrations Gradio en ligne et en local. Son installation requiert Python, CUDA, FFmpeg et un environnement GPU.

Il s’adresse avant tout aux chercheurs, développeurs et créatifs intéressés par la synthèse vidéo et l’animation d’images humaines. Ses forces résident dans la cohérence temporelle obtenue et sa nature gratuite et ouverte sous licence BSD-3-Clause. Ses limites tiennent à sa complexité d’installation, à l’exigence d’un matériel GPU puissant et à l’absence d’interface grand public clé en main.