トークン（LLM）

トークンは、モデルのトークナイザーがテキストやその他の入力から生成する単位です。単語、単語の一部、句読点、マルチモーダルデータの場合があり、トークン数は単語数と同じではありません。