À retenir
- C'est l'action de segmenter une information en morceaux élémentaires.
- Elle facilite l'analyse du langage par les ordinateurs.
- Elle renforce la sécurité en remplaçant une donnée critique par un substitut sans valeur propre.
La tokenisation est un processus qui consiste à découper un ensemble de données (comme une phrase, un fichier ou un code informatique) en unités plus petites et gérables appelées « tokens » (ou jetons). C'est un peu comme si vous démontiez une construction en briques LEGO pour examiner chaque pièce individuellement ou si vous remplaciez un objet de valeur par un ticket de consigne pour plus de sécurité.
Étymologie
Dérivé de l'anglais token (jeton, signe, symbole). En informatique, le terme s'est d'abord imposé dans la création de compilateurs (analyse du code source) avant de s'étendre à la cybersécurité et à l'intelligence artificielle. Il désigne l'action de transformer une donnée brute en un représentant symbolique.
Exemples d'usage
- En traitement de texte : diviser la phrase
"L'informatique est passionnante"en jetons distincts comme["L'", "informatique", "est", "passionnante"]. - En paiement mobile : remplacer votre numéro de carte bancaire réel par un jeton numérique unique lors d'une transaction pour que vos coordonnées bancaires ne circulent jamais sur le réseau.
- En programmation : un compilateur qui identifie les mots-clés (
if,while,return) dans un fichier de code.
Cas d'usage
Ce concept intervient massivement dans le traitement du langage naturel (NLP) pour permettre aux IA de comprendre l'humain, dans la cybersécurité pour protéger les données sensibles, et dans la blockchain pour représenter des actifs réels par des jetons numériques.
Bonnes pratiques
En sécurité, assurez-vous que les jetons générés soient totalement aléatoires et qu'il n'existe aucun lien mathématique direct permettant de retrouver la donnée d'origine sans accéder à une base de correspondance sécurisée (le « vault »). En analyse de texte, il faut veiller à bien gérer la ponctuation et les majuscules pour ne pas fausser l'analyse.
Synonymes
Antonymes
Conseil
Si vous débutez en programmation ou en IA, voyez la tokenisation comme l'étape de préparation indispensable : avant de pouvoir analyser le sens d'un texte ou sécuriser une base de données, il faut d'abord « hacher » proprement l'information en unités de travail.
Questions fréquentes
Quelle est la différence entre tokenisation et chiffrement ?
Le chiffrement utilise une formule mathématique pour masquer une donnée (réversible avec une clé), alors que la tokenisation remplace la donnée par un identifiant aléatoire sans lien mathématique.
Pourquoi l'IA a-t-elle besoin de tokens ?
Les modèles d'intelligence artificielle ne lisent pas les lettres comme nous ; ils convertissent le texte en suites de nombres (tokens) pour pouvoir effectuer des calculs statistiques dessus.