Token bahasa besar (LLM)

Token ialah unit yang dihasilkan oleh tokenizer model daripada teks atau input lain. Ia boleh berupa perkataan, sebahagian perkataan, tanda baca atau data multimodal; bilangan token tidak sama dengan bilangan perkataan.