Token là một đơn vị được bộ mã hóa token của mô hình tạo ra từ văn bản hoặc dữ liệu đầu vào khác. Token có thể là một từ, một phần của từ, dấu câu hoặc dữ liệu đa phương thức; số token không giống số từ.
Token (LLM)
Token là một đơn vị được bộ mã hóa token của mô hình tạo ra từ văn bản hoặc dữ liệu đầu vào khác. Token có thể là một từ, một phần của từ, dấu câu hoặc dữ liệu đa phương thức; số token không giống số từ.