Opóźnienie to czas od rozpoczęcia operacji do uzyskania wyniku. W strumieniowanej odpowiedzi AI czas do pierwszego tokenu i pełna odpowiedź oznaczają różne odczuwalne opóźnienia.
Opóźnienie (latency)
Opóźnienie to czas od rozpoczęcia operacji do uzyskania wyniku. W strumieniowanej odpowiedzi AI czas do pierwszego tokenu i pełna odpowiedź oznaczają różne odczuwalne opóźnienia.