Tokenas – vienetas, į kurį modelio tokenizatorius skaido tekstą ar kitą įvestį. Tai gali būti žodis, jo dalis, skyrybos ženklas ar multimodaliniai duomenys; tokenai nėra žodžiai.
Tokenas (LLM)
Tokenas – vienetas, į kurį modelio tokenizatorius skaido tekstą ar kitą įvestį. Tai gali būti žodis, jo dalis, skyrybos ženklas ar multimodaliniai duomenys; tokenai nėra žodžiai.