Les tokens sont un signal de conception
La consommation de tokens est visible et facile à compter, si bien qu’elle devient souvent un indicateur indirect du coût de l’IA. Or, un faible nombre de tokens peut masquer des relances coûteuses, de mauvaises réponses, des corrections manuelles ou la charge d’ingénierie d’un pipeline trop complexe. L’efficacité doit être mesurée au niveau du flux de travail.
Une métrique utile relie le coût total d’inférence et d’exploitation à un résultat accepté : une demande résolue, un document révisé, une décision aboutie ou une action robotique sûre. Ce dénominateur maintient l’optimisation alignée sur les besoins de l’entreprise.
Éliminez le travail avant d’optimiser les invites
Le token le plus efficace est souvent celui qu’un modèle n’a jamais eu besoin de traiter.
- Utilisez des règles déterministes pour la validation exacte, le formatage, les calculs et les contrôles de politique.
- Ne récupérez que les preuves pertinentes pour la tâche en cours.
- Transportez un état structuré plutôt que de rejouer une conversation entière.
- Résumez l’historique stable une seule fois et conservez des liens vers la source.
- Évitez d’envoyer les éléments d’interface, les instructions dupliquées et les métadonnées inutilisées.
- Arrêtez la génération dès qu’une réponse structurée est complète.
Ce sont des décisions d’architecture. La formulation des invites compte, mais elle ne peut pas compenser un pipeline de contexte non maîtrisé.
Orientez selon la difficulté
Un seul modèle n’a pas besoin de traiter chaque étape. Une couche de routage peut envoyer la classification, l’extraction ou la transformation bornées vers un modèle plus petit et escalader les cas incertains vers un modèle plus performant. Certaines tâches devraient contourner entièrement la génération.
Le routage ne fonctionne qu’avec une évaluation. Définissez des cas représentatifs, le comportement de confiance et le coût d’un mauvais routage. Un modèle bon marché qui génère un travail de correction humaine coûteux n’est pas une optimisation.
Traitez la recherche documentaire comme un budget d’information
La génération augmentée par récupération (RAG) est souvent décrite comme le fait de « donner au modèle les connaissances de l’entreprise ». En pratique, la recherche documentaire sélectionne un petit ensemble de preuves dans les limites d’un budget de contexte. La qualité dépend de la structure des documents, des métadonnées, des autorisations, du classement et de la capacité à s’abstenir lorsque les preuves sont faibles.
Mesurez si les passages récupérés soutiennent réellement la réponse. Davantage de fragments peuvent réduire la qualité en masquant les preuves pertinentes tout en augmentant la latence et l’usage de tokens.
Mettez en cache ce qui est réellement stable
La mise en cache des invites côté fournisseur, la mise en cache des réponses au niveau applicatif, la mise en cache des documents récupérés et les embeddings précalculés résolvent des problèmes différents. Choisissez un cache selon ce qui reste réellement stable et la rapidité avec laquelle les autorisations ou les informations source peuvent changer.
Ne laissez jamais un cache contourner l’autorisation en vigueur. La clé doit représenter l’utilisateur, la politique, la version de la source, la configuration du modèle et les autres facteurs pouvant modifier le résultat valide.
Évaluez ensemble la qualité et l’économie
Tenez une petite grille d’exploitation :
- taux d’acceptation sur des cas représentatifs ;
- taux de correction humaine ou d’escalade ;
- tokens d’entrée et de sortie par résultat accepté ;
- latence en demande normale et en pointe ;
- coût de modèle et d’infrastructure par résultat accepté ;
- modes de défaillance introduits par chaque optimisation.
Révisez la grille lorsque les invites, la recherche documentaire, les outils, les modèles ou les données source changent. L’efficacité en tokens n’est pas un exercice de compression ponctuel. C’est une exploitation disciplinée du système.