Un modèle d'IA qui baisse de prix ne fait pas baisser votre facture. Pour réduire le coût d'une application IA, c'est la manière dont elle appelle le modèle qu'il faut examiner d'abord, et le modèle ensuite. Un article de Towards AI le dit sans détour, et nous sommes d'accord.
"Un modèle moins cher, c'est une facture moins chère"
C'est le réflexe de beaucoup d'équipes : un nouveau modèle sort, son tarif au million de tokens baisse, on bascule. Un token est un petit morceau de texte, à peu près une syllabe ou un mot court, et c'est l'unité de facturation.
Seulement voilà. Selon cet article, un modèle récent serait affiché à 0,10 $ le million de tokens en entrée, mais uniquement pour des prompts (le texte envoyé au modèle : consignes, documents, question) allant jusqu'à 100 000 tokens. Au-delà, tout coûterait cinq fois plus. Un autre serait vendu à un prix d'introduction, doublé ensuite, sans date de fin publiée. Nous n'avons pas pu recouper ces chiffres, mais le principe, lui, est banal : tarifs par paliers, promotions de lancement, versions en préversion.
Les éditeurs ne trichent pas, ils tarifent. Le souci commence quand une application a un seul nom de modèle écrit en dur dans son code et une estimation de coût datée du jour du lancement. On ne l'apprend pas dans les notes de version. On l'apprend sur la facture.
"Le cache, c'est un truc d'ingénieurs"
Pas ici.
Le cache de prompt fait payer moins cher le début identique d'un prompt, d'un appel à l'autre. Prenons l'assistant interne d'une PME de négoce : à chaque question, on renvoie au modèle les mêmes consignes et le même extrait de catalogue. Autant ne payer ce pavé qu'une fois, ou presque.
Chez Anthropic, selon sa documentation, relire une partie en cache coûte en général dix fois moins que le prix d'entrée normal. L'écrire coûte un quart de plus, et le cache vit cinq minutes par défaut, prolongées à chaque lecture. Il faut marquer les passages concernés dans l'appel. OpenAI l'active par défaut, avec pour ses modèles récents un minimum de 1 024 tokens et une durée par défaut de 30 minutes.
Deux pièges méritent qu'on s'y arrête. La partie fixe doit se trouver en tête du prompt, sinon rien n'est réutilisé. Et sous le seuil minimal, le cache ne s'active pas, sans qu'aucune erreur ne vous prévienne : on croit économiser, on paie plein tarif. Les tokens de sortie, eux, ne sont jamais concernés.
"Il suffit de router chaque question vers le modèle le moins cher"
Le routage envoie les tâches simples vers un modèle économique et réserve le modèle coûteux aux cas difficiles. C'est séduisant, et sur le papier on ne peut pas reprocher grand-chose à cette logique.
Sauf que, d'après une analyse de Towards Data Science, que nous n'avons pu consulter qu'en résumé, router requête par requête fait perdre le bénéfice du cache de prompt. Router par grande étape d'un traitement s'en sortirait mieux. Deux économies peuvent donc s'annuler, et personne ne vous le signalera.
Le cache sémantique, qui renvoie une réponse déjà stockée pour une question proche, pose un autre problème. Selon les résumés que nous avons lus, un réglage naïf peut servir à un utilisateur la réponse destinée à un autre. Avec des données clients, la discussion s'arrête là.
Ces deux techniques ont un sens à volume élevé, avec un contrôle de qualité derrière. Pour un assistant utilisé par quelques dizaines de personnes, c'est de la mécanique en plus pour un gain en euros minuscule.
"Les économies annoncées sont prouvées"
Nous n'en avons pas trouvé la preuve. Maxim AI, qui vend une passerelle (un composant placé entre votre application et les modèles), évoque 15 à 30 % d'appels évités pour les usages très répétitifs, sans citer de source. Le "40 à 70 %" qui circule ici et là n'a pas non plus de mesure indépendante.
Nous n'avons trouvé ni retour d'une PME qui aurait installé tout cela, ni tarif public des passerelles. Ce n'est pas un procès fait aux outils : un pourcentage de vendeur est une hypothèse de départ, pas un résultat.
Notre position, alors. D'abord suivre les dépenses par client ou par usage, parce qu'on n'économise pas ce qu'on ne mesure pas. Ensuite activer le cache de prompt dès que l'application répète de longues consignes. Et ne jamais figer le nom d'un modèle dans le code, pour pouvoir en changer le jour où une grille tarifaire bouge.
C'est ce que nous prévoyons quand nous concevons un agent IA sur mesure ou une application bâtie avec Laravel et l'IA. Pour savoir où l'IA rapporte vraiment dans votre entreprise, notre article sur les cas d'usage à fort retour sur investissement est un bon point de départ, et nous en parler reste le plus rapide si vous avez déjà une facture qui vous surprend.
Questions fréquentes
Qu'est-ce qu'un token et pourquoi la facture IA en dépend-elle ?
Un token est un petit morceau de texte, à peu près une syllabe ou un mot court. Les éditeurs facturent au million de tokens envoyés au modèle (entrée) et produits par lui (sortie).
Le cache de prompt change-t-il la qualité des réponses ?
Non, le modèle reçoit le même texte. Seule la facturation de la partie répétée change, à condition qu'elle soit placée en tête du prompt et dépasse le seuil minimal de l'éditeur.
Combien peut-on économiser avec une passerelle de routage ?
Nous n'avons pas trouvé de mesure indépendante auprès de PME. Les pourcentages annoncés viennent d'éditeurs d'outils, sans méthode publiée.
Un usage ponctuel d'un assistant IA justifie-t-il tout cela ?
Rarement. À faible volume, le gain en euros reste modeste. Suivre les dépenses et ne pas figer un seul nom de modèle dans le code suffit en général.