C'est quoi l'inférence en IA ? Explication simple

Construire un four de boulanger coûte cher, mais on ne le fait qu'une fois. Ensuite, chaque fournée consomme de la farine, du temps et de l'énergie, tous les matins. Pour une IA, l'entraînement est la construction du four, et l'inférence est chaque fournée : chaque fois que quelqu'un pose une question, des machines calculent la réponse.

La définition officielle. Google Cloud la présente comme la partie « exécution » de l'IA : le moment où le modèle entraîné arrête d'apprendre et transforme ce qu'il sait en résultats concrets, une réponse, une image, une prédiction. IBM la décrit de la même façon. C'est la partie visible du travail, celle que tu déclenches.

Pourquoi ça compte. Les prix « par million de tokens » des API sont des prix d'inférence, tout comme les plateformes qui font tourner des modèles d'images à la seconde de carte graphique ou à l'image produite. Les modèles qui « réfléchissent » avant de répondre font aussi plus d'inférence : OpenAI indique que leurs tokens de réflexion, que tu ne vois pas, sont facturés comme du texte écrit. Et c'est pendant l'inférence que se joue la vitesse : le temps avant le premier mot, puis le débit.

L'idée reçue. « Une fois le modèle entraîné, le faire tourner ne coûte plus rien. » Si : chaque réponse mobilise des machines. Chez toi aussi, une IA locale fait travailler ta carte graphique ou ton processeur, consomme de l'électricité et occupe de la mémoire. C'est gratuit en argent pour les logiciels libres, pas en ressources.