Token, model belirteçleyicisinin metin veya başka bir girdiden ürettiği birimdir. Bir kelime, kelimenin bir bölümü, noktalama işareti ya da çok modlu veri olabilir; token sayısı kelime sayısıyla aynı değildir.
Token (LLM)
Token, model belirteçleyicisinin metin veya başka bir girdiden ürettiği birimdir. Bir kelime, kelimenin bir bölümü, noktalama işareti ya da çok modlu veri olabilir; token sayısı kelime sayısıyla aynı değildir.