Latenz ist die Zeit vom Start eines Vorgangs bis zum verfügbaren Ergebnis. Bei gestreamter KI-Ausgabe beschreiben Zeit bis zum ersten Token und Gesamtdauer unterschiedliche Verzögerungen.
Latenz
Latenz ist die Zeit vom Start eines Vorgangs bis zum verfügbaren Ergebnis. Bei gestreamter KI-Ausgabe beschreiben Zeit bis zum ersten Token und Gesamtdauer unterschiedliche Verzögerungen.