L’inférence consiste à utiliser un modèle entraîné pour produire une prédiction ou une sortie à partir d’une nouvelle entrée. Pour un LLM, elle traite le prompt et génère des tokens.
Inférence
L’inférence consiste à utiliser un modèle entraîné pour produire une prédiction ou une sortie à partir d’une nouvelle entrée. Pour un LLM, elle traite le prompt et génère des tokens.