Omniverse Audio2Face

Omniverse Audio2Face est une technologie d’intelligence artificielle générative signée NVIDIA qui anime automatiquement le visage de personnages 3D à partir d’une simple piste audio. Bâtie autour du standard Universal Scene Description (OpenUSD), l’application crée des animations faciales expressives et un lip-sync précis pour les jeux vidéo, les films, les assistants numériques interactifs et autres projets créatifs, à partir d’un fichier audio ou d’une entrée microphone en temps réel.

Le système repose sur des réseaux de neurones profonds préentraînés qui analysent les caractéristiques acoustiques de la voix, comme les phonèmes et l’intonation, pour piloter les sommets du maillage facial du personnage. Parmi les fonctionnalités clés figurent des modèles de régression et de diffusion pour le lip-sync, des réseaux Audio2Emotion qui déduisent l’état émotionnel à partir de la voix, le retargeting vers n’importe quel visage réaliste ou stylisé, le support multilingue, l’export en blendshapes vers Blender et Unreal Engine, ainsi que l’animation simultanée de plusieurs personnages.

L’outil vise les créateurs 3D, studios d’animation et développeurs de jeux. Ses forces sont la rapidité d’obtention d’animations crédibles, l’ouverture du code (licence MIT et NVIDIA Open Model License depuis 2025), les plugins Maya et Unreal Engine 5, et un cadre d’entraînement personnalisable. En contrepartie, il s’adresse à un public technique, requiert un environnement 3D et du matériel NVIDIA adapté, ce qui limite son accessibilité aux débutants.