Fuyu-8B

Fuyu-8B est un modèle de langage multimodal open source de 8 milliards de paramètres publié par Adept AI en octobre 2023. Il traite conjointement le texte et les images dans une même architecture, et a été conçu spécifiquement pour alimenter des agents numériques capables de comprendre des interfaces, des graphiques, des diagrammes et du contenu affiché à l’écran. Il sert notamment à répondre à des questions sur des visuels, à lire du texte dans une image (OCR) et à localiser des éléments précis sur une capture d’écran.

Sur le plan technique, Fuyu-8B repose sur un transformeur décodeur classique, sans encodeur d’image dédié : les fragments d’image (patches) sont projetés linéairement directement dans la première couche du modèle, ce qui permet de gérer des résolutions d’image arbitraires et simplifie l’entraînement comme l’inférence. Le modèle gère un contexte de 16K tokens et reste rapide, avec des réponses obtenues en moins de 100 millisecondes sur de grandes images. Les poids sont distribués sur Hugging Face (adept/fuyu-8b) sous licence CC-BY-NC, utilisables via la bibliothèque Transformers.

Le public visé regroupe chercheurs, développeurs et créateurs d’agents IA souhaitant un modèle visuel léger et auto-hébergeable. Ses forces sont sa simplicité architecturale, sa rapidité et son orientation interfaces. Ses limites : la licence non commerciale (CC-BY-NC), une taille modeste face aux grands modèles propriétaires, et l’absence d’API hébergée officielle imposant un déploiement technique.