Token IA

La définition des tokens dépend du mécanisme de découpage, appelé tokenizer, choisi pour un modèle donné. Avant de générer une réponse, le système transforme la consigne en identifiants numériques. Il fait de même avec les documents ajoutés au contexte et avec la réponse produite. Deux modèles peuvent donc découper différemment la même phrase française.

Un token n’est pas un mot. Un mot fréquent peut être reconnu d’un seul bloc ; un terme rare, une suite de chiffres ou un mot composé peut être séparé. Les accents, les espaces et la ponctuation participent aussi au découpage. C’est pourquoi convertir mécaniquement un nombre de mots en nombre de tokens donne seulement un ordre de grandeur.

• les tokens d’entrée comprennent les instructions, la question et le contexte transmis ;
• les tokens de sortie correspondent au texte que le modèle génère ;
• la fenêtre de contexte fixe la quantité maximale traitable dans un appel ;
• une limite de sortie peut couper une réponse avant sa conclusion.

Dans un LLM, cette unité permet au modèle de traiter une séquence, pas de comprendre une idée à elle seule. Une réponse courte peut être imprécise et une réponse longue peut répéter une erreur. Le comptage renseigne donc sur une contrainte technique, jamais sur la véracité du résultat.

Un token LLM devient concret lorsqu’une équipe ajoute des documents à une demande. Un manuel de procédure, l’historique d’un ticket, les instructions de sécurité et la question de l’utilisateur se partagent la même fenêtre de contexte. Si l’ensemble dépasse la capacité retenue, il faut retirer, résumer ou rechercher les passages pertinents.

La recherche augmentée, décrite dans la page RAG, évite d’envoyer une base documentaire entière à chaque appel. Elle sélectionne des extraits avant de les fournir au modèle. Cette sélection doit conserver la source, la date du document et le passage complet quand une phrase isolée pourrait changer de sens.

1. Identifier les éléments fixes : règles, ton, format attendu et interdits.
2. Mesurer la place occupée par les pièces jointes et l’historique.
3. Réserver une marge suffisante pour la réponse demandée.
4. Tester les dossiers longs, les tableaux et les demandes qui contiennent plusieurs contraintes.

Réduire le contexte diminue parfois le coût, mais peut aussi écarter une exception importante. À l’inverse, accumuler des pages non pertinentes rend la réponse moins lisible et complique l’identification de sa source. Une solution d’IA générative doit donc classer les contenus utiles à chaque tâche au lieu de promettre une mémoire sans limite.

Les modèles facturent souvent l’entrée et la sortie selon le volume traité. Suivre les tokens permet de repérer une consigne devenue trop longue, un historique envoyé plusieurs fois ou une réponse qui dépasse le format utile. Cette observation est plus pertinente par type de tâche que sous la forme d’une moyenne globale.

Un tableau de suivi peut rapprocher le nombre de requêtes, le volume de contexte, la longueur des sorties, les erreurs observées et le coût d’usage. Il révèle par exemple qu’un assistant de synthèse reçoit chaque fois le même règlement volumineux, alors qu’une référence versionnée suffirait. Il ne doit toutefois pas enregistrer le contenu sensible des demandes sans nécessité.

• fixer un format de sortie, tel qu’une liste de points à vérifier ;
• retirer les doublons dans l’historique de conversation ;
• limiter les pièces jointes à celles qui répondent à la question ;
• alerter lorsqu’un flux s’écarte durablement de son volume habituel.

Le coût n’est qu’un critère. Une réponse qui omet une condition contractuelle parce que le contexte a été raccourci coûte plus cher à corriger qu’un appel légèrement plus volumineux. Lors d’un conseil IA, il est utile de définir avec l’équipe la preuve attendue, la source à citer et le cas où le système doit répondre qu’il ne sait pas.