Token to jednostka, na którą tokenizator modelu dzieli tekst lub inne wejście. Może być słowem, jego częścią, znakiem albo danymi multimodalnymi; liczba tokenów to nie liczba słów.
Token (LLM)
Token to jednostka, na którą tokenizator modelu dzieli tekst lub inne wejście. Może być słowem, jego częścią, znakiem albo danymi multimodalnymi; liczba tokenów to nie liczba słów.