Inference on treenitud mudeli kasutamine ennustuse või väljundi loomiseks uue sisendi põhjal. LLM-päringus hõlmab see prompti töötlemist ja tokenite genereerimist.
Järeldamine (inference)
Inference on treenitud mudeli kasutamine ennustuse või väljundi loomiseks uue sisendi põhjal. LLM-päringus hõlmab see prompti töötlemist ja tokenite genereerimist.