2.7 KiB
2.7 KiB
Evallauf
optional
Prüft die Antwortpipeline gegen gespeicherte Fälle
- Ein gescheiterter Fall setzt den Gesamtstand
- Eine leere Auswahl gilt nicht als Fehlschlag
- Berichte entstehen unteilbar
- Evals messen Fälle, nicht jede mögliche Frage
- Fünf Falltypen rufen das Modell
- Vier Falltypen laufen ohne Modell
Evallauf starten
Führt Fälle aus dem Adminbereich aus
- Der Lauf braucht die Wissensrolle
- Der Bericht wird zusätzlich archiviert
- Der Lauf blockiert die Anfrage bis zum Ende
- Menüeintrag Eval Suite wählen
- Auswahl treffen
- Lauf starten
- Ergebnis je Fall sichtbar
Einzelfall erneut testen
Wiederholt genau einen gescheiterten Fall
- Nur der gewählte Fall läuft
- Lauf mit Fehlschlag öffnen
- LMB auf erneut testen
- Ergebnis des Falls sichtbar
Läufe vergleichen
Stellt zwei Berichte als Unterschied gegenüber
- Der Vergleich nennt behoben, neu und entfernt
- Menüeintrag Eval Suite wählen
- Vergleichsbasis wählen
- Unterschied sichtbar
Evallauf im Terminal ausführen
- Die Auswahl folgt Typ und Bereich
- Ein Abbruch nach dem ersten Fehler ist wählbar
- Ein Lauf ohne Schreiben ist wählbar
- Fälle lassen sich nur auflisten
- Kommando mit Typ aufrufen
- Ergebnis je Fall sichtbar
Evallauf parallelisieren
Verteilt Fälle auf mehrere Kindprozesse
- Zwischen einem und 32 Prozessen
- Vorgabe sind zwei Prozesse
- Ein Zeitlimit je Prozess ist wählbar
- Das Ergebnis ist ein Sammelbericht
- Kommando mit Prozesszahl aufrufen
- Sammelbericht sichtbar
Berichte aufräumen
- Nur erzeugte Dateinamen fallen weg
- Aufräumen behält 20 Läufe je Bereich
- Die Liste zeigt zehn Läufe
- Menüeintrag Eval Suite wählen
- LMB auf Aufräumen
- Berichtszahl sinkt
Berichte löschen
Entfernt alle Läufe eines Bereichs
- Der aktuelle Lauf fällt mit weg
- Eine Rückfrage geht voraus
- Menüeintrag Eval Suite wählen
- LMB auf alle löschen
- Bestätigen
- Berichtsliste leer