La latence est le temps entre le début d’une opération et la disponibilité du résultat. Pour une réponse IA diffusée, le délai du premier token et la durée totale diffèrent.
Latence
La latence est le temps entre le début d’une opération et la disponibilité du résultat. Pour une réponse IA diffusée, le délai du premier token et la durée totale diffèrent.