模型推理（Inference）

推理是使用已训练模型根据新输入生成预测或输出的过程。对 LLM 请求而言，它包括处理 prompt 和生成 token。