Inferens

Inferens ialah proses menggunakan model terlatih untuk menghasilkan ramalan atau output bagi input baharu. Dalam permintaan LLM, proses ini merangkumi pemprosesan prompt dan penjanaan token.