Langfuse

Langfuse est une plateforme d’ingénierie IA open source dédiée à l’observabilité, au débogage et à l’amélioration des applications basées sur des grands modèles de langage (LLM). Elle aide les équipes techniques à comprendre précisément le comportement de leurs agents et de leurs chaînes de traitement, à suivre les coûts et la latence, puis à itérer sur la qualité de leurs systèmes, du prototype jusqu’à la production.

Concrètement, Langfuse capture des traces complètes des appels LLM, des récupérations de données, des embeddings et des appels API, et regroupe les conversations multi-tours en sessions visualisables sous forme de graphes d’agents. Elle propose une gestion des prompts avec versioning collaboratif, déploiement par labels et un playground de test, ainsi que des méthodes d’évaluation variées : LLM-as-a-judge, code personnalisé, retours utilisateurs et files d’annotation manuelle. L’outil s’intègre via des SDK Python et JavaScript, plus de 50 frameworks (LangChain, LlamaIndex, OpenAI SDK) et le standard OpenTelemetry, avec une API publique. Il s’auto-héberge gratuitement via Docker ou Kubernetes.

Le public cible regroupe les développeurs et équipes déployant des applications LLM en production qui ont besoin de transparence et de collaboration. Ses forces tiennent à son caractère open source, sa couverture complète du cycle de vie et son absence de verrouillage propriétaire. En contrepartie, la prise en main reste orientée techniciens et l’auto-hébergement demande des compétences d’infrastructure.