Unidad que un tokenizador de modelo produce a partir de texto u otra entrada. Puede ser una palabra, parte de una palabra, puntuación o datos multimodales; el número de tokens no equivale al número de palabras.
Token (LLM)
Unidad que un tokenizador de modelo produce a partir de texto u otra entrada. Puede ser una palabra, parte de una palabra, puntuación o datos multimodales; el número de tokens no equivale al número de palabras.