Ein Token ist eine Einheit, in die der Tokenizer eines Modells Text oder andere Eingaben zerlegt. Es kann ein Wort, Wortteil, Satzzeichen oder multimodale Daten sein; Tokens sind keine Wörter.
Token (LLM)
Ein Token ist eine Einheit, in die der Tokenizer eines Modells Text oder andere Eingaben zerlegt. Es kann ein Wort, Wortteil, Satzzeichen oder multimodale Daten sein; Tokens sind keine Wörter.