Inferenz bezeichnet die Nutzung eines trainierten Modells, um für neue Eingaben eine Vorhersage oder Ausgabe zu erzeugen. Bei LLM umfasst sie Prompt-Verarbeitung und Token-Generierung.
Inferenz
Inferenz bezeichnet die Nutzung eines trainierten Modells, um für neue Eingaben eine Vorhersage oder Ausgabe zu erzeugen. Bei LLM umfasst sie Prompt-Verarbeitung und Token-Generierung.