Qu’est-ce que Token (LLM) ?

C'est comme payer au caractère dans une cabine téléphonique historique : ce n’est pas toujours une syllabe humaine, mais c’est l’unité de mesure du fournisseur. Les [LLM](/lexique/llm-large-language-model) tokenisent prompts et réponses ; la facturation cloud suit souvent tokens entrée et sortie. La [tokenisation](/lexique/tokenisation-nlp) dépend du tokenizer (BPE, SentencePiece…). Context windows sont exprimées en tokens — impact direct sur [mémoire contextuelle](/lexique/memoire-contextuelle-ia) et coûts.

Normalisation texte → segmentation tokenizer → IDs → embeddings ; budgets max tokens ; troncature ou résumé si dépassement. Distinction avec « jeton » sécurité OAuth — même mot français, concepts différents ([OAuth](/lexique/oauth)).

Sans surveillance, budgets inference explosent sur chaînes longues ou agents boucle — les équipes qui instrumentent tokens par cas d’usage réallouent souvent 10 % à 25 % du budget IA vers les workflows à meilleur ROI après premiers mois production.

• Compters tokens en CI pour prompts critiques ; caches réponses répétitives ; résumés ; modèles plus petits pour sous-tâches ; monitoring dashboards FinOps.

• Croire 1 mot français = 1 token. Oublier tokens sortie dans budgets. Envoyer documents entiers non résummés dans contexte.