ความหน่วง (Latency)

latency คือเวลาที่ผ่านไประหว่างเริ่มการทำงานกับเวลาที่ผลลัพธ์พร้อมใช้งาน สำหรับเอาต์พุต AI แบบสตรีม เวลาไปจนถึง token แรกกับเวลาตอบกลับทั้งหมดเป็นความล่าช้าที่ผู้ใช้รับรู้คนละแบบ