LLM 词元（Token）

词元是模型分词器从文本或其他输入中生成的单位。它可能是一个词、词的一部分、标点或多模态数据；词元数量不等于词数。