टोकन (LLM)

टोकन वह इकाई है जिसे मॉडल का tokenizer टेक्स्ट या अन्य इनपुट से बनाता है। यह कोई शब्द, शब्द का हिस्सा, विराम-चिह्न या बहु-माध्यमीय डेटा हो सकता है; टोकन की गिनती शब्दों की गिनती के बराबर नहीं होती।