OpenAI Whisper

OpenAI Whisper est un modèle open source de reconnaissance vocale automatique (ASR) développé par OpenAI. Il transcrit de la parole en texte à partir de fichiers audio et assure également la traduction de la parole vers l’anglais, l’identification de la langue parlée et la détection d’activité vocale. Conçu comme un système unifié, il remplace les chaînes de traitement audio traditionnelles en plusieurs étapes par un seul modèle polyvalent capable de gérer des dizaines de langues.

Techniquement, Whisper repose sur un modèle Transformer séquence-à-séquence entraîné sur de vastes données audio variées. Il découpe l’audio en fenêtres de 30 secondes et génère ses prédictions de façon autorégressive, des jetons spéciaux servant à indiquer la tâche à accomplir. Six tailles de modèles sont proposées, de tiny (39M de paramètres) à large (1550M), avec des variantes spécialisées pour l’anglais et un modèle turbo environ huit fois plus rapide que large. L’installation se fait via pip, avec une utilisation possible en ligne de commande ou en Python. Le projet nécessite Python, PyTorch et ffmpeg, ainsi que de 1 à 10 Go de VRAM selon le modèle.

Whisper s’adresse avant tout aux développeurs, chercheurs et créateurs techniques cherchant une transcription locale et gratuite. Ses forces sont sa précision multilingue (99+ langues), sa licence MIT permissive et sa gratuité totale. Ses limites tiennent à l’absence d’interface graphique, aux besoins matériels et à l’expertise technique requise.