लेटेंसी (विलंबता)

लेटेंसी, ऑपरेशन शुरू होने से उसका परिणाम उपलब्ध होने तक बीता समय है। स्ट्रीम किए गए AI आउटपुट में पहला टोकन आने का समय और कुल प्रतिक्रिया समय, उपयोगकर्ता को महसूस होने वाली अलग-अलग देरी बताते हैं।