AnimateDiff

AnimateDiff est un framework open source de recherche qui permet d’animer des modèles de diffusion text-to-image personnalisés, comme les variantes de Stable Diffusion. Concrètement, il transforme un générateur d’images fixes en générateur de courtes vidéos animées, sans avoir à réentraîner chaque modèle individuellement. L’outil s’adresse à celles et ceux qui utilisent déjà des modèles personnalisés (LoRA, DreamBooth) et souhaitent y ajouter du mouvement tout en conservant le style et la diversité d’origine.

Son fonctionnement repose sur un module dédié à la modélisation du mouvement, entraîné séparément sur des clips vidéo, puis injecté dans le modèle text-to-image figé. Une fois ce module appris, il peut être greffé sur n’importe quelle version personnalisée du modèle de base, sans réglage spécifique. AnimateDiff est compatible avec de nombreux modèles issus de CivitAI (ToonYou, Lyriel, Realistic Vision, etc.) et préserve la cohérence visuelle des images générées.

Le public cible regroupe chercheurs, artistes IA et amateurs avancés de génération d’images. Parmi ses forces figurent la gratuité, le caractère open source, la réutilisation des modèles existants et une approche saluée par la communauté scientifique (papier spotlight ICLR 2024). Ses limites tiennent à une prise en main technique exigeante, l’absence d’interface grand public clé en main et des séquences animées relativement courtes.