Tiempo transcurrido desde que comienza una operación hasta que su resultado está disponible. En la salida de IA transmitida en flujo, el tiempo hasta el primer token y el tiempo total de respuesta representan demoras distintas para el usuario.
Latencia
Tiempo transcurrido desde que comienza una operación hasta que su resultado está disponible. En la salida de IA transmitida en flujo, el tiempo hasta el primer token y el tiempo total de respuesta representan demoras distintas para el usuario.