หน่วย Token สำหรับ LLM

token คือหน่วยที่ tokenizer ของโมเดลสร้างจากข้อความหรืออินพุตชนิดอื่น อาจเป็นคำ ส่วนหนึ่งของคำ เครื่องหมายวรรคตอน หรือข้อมูลหลายรูปแบบ จำนวน token ไม่เท่ากับจำนวนคำ