C'est quoi un LLM ? Le grand modèle de langage expliqué

Le clavier de ton téléphone te propose le mot suivant quand tu écris un SMS. Imagine la même chose en immensément plus grand : un programme qui a lu une quantité de textes impossible à lire en une vie, et qui sait continuer presque n'importe quelle phrase, en restant dans le sujet, le ton et la langue. C'est l'idée d'un LLM.

Comment il est fabriqué. Selon le glossaire d'Anthropic, l'éditeur commence par un pré-entraînement : le modèle apprend à prédire le mot suivant sur un immense corpus de textes. À ce stade, il ne sait pas encore bien répondre à des questions. Ensuite, on l'affine pour qu'il se comporte en assistant, notamment avec des personnes qui classent ses réponses de la meilleure à la moins bonne. « Grand » désigne le nombre de ses réglages internes, ses paramètres : des milliards.

Pourquoi ça compte. Comprendre qu'un LLM produit le plus probable explique ses forces (rédiger, résumer, traduire, reformuler) et ses faiblesses. La CNIL le dit clairement : ces systèmes suivent une logique probabiliste et peuvent donner des résultats faux mais plausibles, surtout sur ce qu'ils n'ont pas vu à l'entraînement, comme un événement récent.

L'idée reçue. « Un LLM va chercher la réponse dans une base de données de faits vérifiés. » Non : la CNIL précise que ce ne sont pas des bases de connaissance. Sans recherche sur le web ni document fourni, il répond avec ce qu'il a retenu, et il ne sait pas toujours qu'il se trompe.