Token on ühik, milleks mudeli tokeniseerija jagab teksti või muu sisendi. See võib olla sõna, sõnaosa, kirjavahemärk või multimodaalne andmestik; tokenite arv pole sõnade arv.
Token (LLM)
Token on ühik, milleks mudeli tokeniseerija jagab teksti või muu sisendi. See võib olla sõna, sõnaosa, kirjavahemärk või multimodaalne andmestik; tokenite arv pole sõnade arv.