OpenAI GPT-3

OpenAI GPT-3 (Generative Pre-trained Transformer 3) est un grand modèle de langage lancé par OpenAI en juin 2020, accessible via une API « texte en entrée, texte en sortie ». Doté de 175 milliards de paramètres, il a marqué une étape majeure de l’IA générative en produisant des textes cohérents et proches du langage humain. Il sert à générer du contenu, rédiger des e-mails et des essais, résumer, traduire, répondre à des questions et même produire du code, devenant la base de nombreuses applications tierces.

Sur le plan technique, GPT-3 repose sur une architecture de type transformeur à décodeur utilisant un mécanisme d’attention, avec une fenêtre de contexte de 2 048 tokens. Il a été entraîné sur environ 500 milliards de tokens issus de Common Crawl, de pages web, de livres et de Wikipedia. Sa force réside dans l’apprentissage « few-shot » et « zero-shot » : il accomplit des tâches à partir de quelques exemples fournis dans le prompt, sans réentraînement. OpenAI proposait plusieurs variantes (ada, babbage, curie, davinci) et une option de fine-tuning sur des données personnalisées.

GPT-3 s’adresse aux développeurs, aux entreprises et aux créateurs de produits souhaitant intégrer l’IA générative via l’API. Ses points forts sont la qualité et la polyvalence de génération ainsi que la simplicité d’intégration. Ses limites incluent un risque d’erreurs factuelles, des biais présents dans les données, une absence de compréhension réelle du sens et un usage payant. Il a depuis été remplacé par GPT-3.5 puis les générations suivantes.