LLM 詞元（Token）

詞元是模型分詞器從文字或其他輸入產生的單位。它可能是一個詞、詞的一部分、標點符號或多模態資料；詞元數不等於詞數。