Độ trễ là khoảng thời gian từ khi một thao tác bắt đầu đến khi có kết quả. Với đầu ra AI được truyền theo luồng, thời gian đến token đầu tiên và tổng thời gian phản hồi là hai độ trễ khác nhau mà người dùng có thể nhận thấy.
Độ trễ
Độ trễ là khoảng thời gian từ khi một thao tác bắt đầu đến khi có kết quả. Với đầu ra AI được truyền theo luồng, thời gian đến token đầu tiên và tổng thời gian phản hồi là hai độ trễ khác nhau mà người dùng có thể nhận thấy.