Proceso de usar un modelo entrenado para generar una predicción o una salida a partir de una nueva entrada. En una solicitud a un LLM, incluye procesar el prompt y generar tokens.
Inferencia
Proceso de usar un modelo entrenado para generar una predicción o una salida a partir de una nueva entrada. En una solicitud a un LLM, incluye procesar el prompt y generar tokens.