Un token est une unité issue de la segmentation d’un texte ou autre entrée par le modèle. Il peut être un mot, fragment, signe ou donnée multimodale ; token ne signifie pas mot.
Token (LLM)
Un token est une unité issue de la segmentation d’un texte ou autre entrée par le modèle. Il peut être un mot, fragment, signe ou donnée multimodale ; token ne signifie pas mot.