Инференс — применение обученной модели для получения прогноза или ответа на новые данные. В запросе к LLM он включает обработку промпта и генерацию токенов.
Инференс (вывод модели)
Инференс — применение обученной модели для получения прогноза или ответа на новые данные. В запросе к LLM он включает обработку промпта и генерацию токенов.