Token on yksikkö, joksi mallin tokenoija jakaa tekstin tai muun syötteen. Se voi olla sana, sanan osa, välimerkki tai multimodaalinen data; tokenien määrä ei ole sanamäärä.
Token (LLM)
Token on yksikkö, joksi mallin tokenoija jakaa tekstin tai muun syötteen. Se voi olla sana, sanan osa, välimerkki tai multimodaalinen data; tokenien määrä ei ole sanamäärä.