Dreambooth

DreamBooth est une méthode de recherche développée par Google Research qui permet de personnaliser des modèles de diffusion texte-image. À partir de seulement 3 à 5 photos d’un sujet donné (une personne, un animal, un objet), la technique apprend à ce modèle à reconnaître ce sujet précis, puis à le régénérer dans des contextes, des décors, des styles et des poses entièrement nouveaux tout en préservant son identité visuelle. Les auteurs résument l’idée par une analogie : c’est comme un photomaton, mais une fois le sujet capturé, il peut ensuite être synthétisé partout où vos rêves vous mènent.

Le fonctionnement repose sur un fine-tuning d’un modèle pré-entraîné (comme Imagen) en associant les images de référence à des prompts contenant un identifiant unique et un nom de classe. Une perte dite de préservation du prior par classe maintient la diversité des générations tout en liant cet identifiant au sujet. Les composants de super-résolution sont également affinés pour conserver les détails fins. Cela autorise la recontextualisation, la synthèse de nouveaux points de vue, la modification d’apparence et le rendu artistique.

DreamBooth vise les chercheurs et développeurs en vision par ordinateur et en IA générative. Sa force est une personnalisation fidèle à partir de très peu d’exemples, devenue une référence largement réimplémentée. Sa limite : il s’agit d’un article de recherche et d’un code, non d’un produit clé en main, sans interface ni service hébergé officiel.