Comprendre la notion de token
Les IA ne lisent ni lettres ni mots, mais des tokens : ce que recouvre cette unité, pourquoi le français en consomme plus que l'anglais, et ce qu'elle change pour le prix, la mémoire et les erreurs d'une IA.
Photo : Pixabay (Pexels)
Un service d'IA facture ses clients « au million de tokens ». Un modèle annonce pouvoir lire « 128 000 tokens » d'un coup. Et le même genre de modèle se trompe quand on lui demande combien de lettres D contient le mot « DEEPSEEK ». Trois faits sans rapport apparent, une seule explication : les modèles de langage ne lisent ni des lettres ni des mots, mais des tokens. Comprendre cette petite unité, c'est comprendre ce que coûte une requête, ce qu'un modèle peut lire en une fois, et certaines de ses erreurs les plus déroutantes.
Au programme
- 01Ce qu'est un token
- 02Pourquoi découper ainsi
- 03Le français coûte plus cher que l'anglais
- 04Ce que les tokens changent pour vous
- 05À retenir
LSI Open · gratuit
Créez votre compte gratuit pour lire cette capsule.
- 2 widgets interactifs
- 5 cartes de révision
- un quiz de 3 questions
Sans carte bancaire. Le compte ouvre tout LSI Open — capsules de culture générale, cours, défis et raids — et votre Proof-of-Skill Passport.
Dans le même thème
CapsuleTous niveaux · 8 minArchiver correctement ses documents numériquesTrier ce qu'il faut garder et combien de temps, nommer et classer pour retrouver en dix secondes, choisir des formats qui resteront lisibles, et faire durer ses archives sur plusieurs supports.Découvrir →compte gratuit
CapsuleTous niveaux · 8 minAutomatiser une petite tâche sans coderChoisir une tâche qui vaut la peine, la décrire en « quand, si, alors », la confier aux outils que vous avez déjà ou à un connecteur, puis la tester et la surveiller pour qu'elle ne tombe pas en panne en silence.Découvrir →compte gratuit
CapsuleTous niveaux · 8 minChoisir le bon outil numérique pour une tâchePartir de la tâche et non de l'outil, trouver la bonne famille de logiciels, peser simplicité, réversibilité, sécurité et coût réel, puis tester avant d'adopter : une méthode pour ne plus subir ses outils.Découvrir →compte gratuitAvec un formateur
Vous voulez aller plus loin ?
Travaillez cette compétence avec un formateur LSI dans un parcours structuré.
Parler à un formateurPour une équipe
Vous représentez une entreprise ?
Déployez ce parcours auprès de votre équipe avec LSI.
Former mon équipe