<!-- titel -->
Evallauf
----------------------------------------
<!-- art -->
optional
----------------------------------------
<!-- ziel -->
Prüft die Antwortpipeline gegen gespeicherte Fälle
----------------------------------------
<!-- regeln -->
- Ein gescheiterter Fall setzt den Gesamtstand
- Eine leere Auswahl gilt nicht als Fehlschlag
- Berichte entstehen unteilbar
- Evals messen Fälle, nicht jede mögliche Frage
- Fünf Falltypen rufen das Modell
- Vier Falltypen laufen ohne Modell
----------------------------------------
<!-- funktion -->
Evallauf starten
<!-- ziel -->
Führt Fälle aus dem Adminbereich aus
<!-- regeln -->
- Der Lauf braucht die Wissensrolle
- Der Bericht wird zusätzlich archiviert
- Der Lauf blockiert die Anfrage bis zum Ende
<!-- testen -->
- Menüeintrag Eval Suite wählen
- Auswahl treffen
- Lauf starten
- Ergebnis je Fall sichtbar
----------------------------------------
<!-- funktion -->
Einzelfall erneut testen
<!-- ziel -->
Wiederholt genau einen gescheiterten Fall
<!-- regeln -->
- Nur der gewählte Fall läuft
<!-- testen -->
- Lauf mit Fehlschlag öffnen
- LMB auf erneut testen
- Ergebnis des Falls sichtbar
----------------------------------------
<!-- funktion -->
Läufe vergleichen
<!-- ziel -->
Stellt zwei Berichte als Unterschied gegenüber
<!-- regeln -->
- Der Vergleich nennt behoben, neu und entfernt
<!-- testen -->
- Menüeintrag Eval Suite wählen
- Vergleichsbasis wählen
- Unterschied sichtbar
----------------------------------------
<!-- funktion -->
Evallauf im Terminal ausführen
<!-- regeln -->
- Die Auswahl folgt Typ und Bereich
- Ein Abbruch nach dem ersten Fehler ist wählbar
- Ein Lauf ohne Schreiben ist wählbar
- Fälle lassen sich nur auflisten
<!-- testen -->
- Kommando mit Typ aufrufen
- Ergebnis je Fall sichtbar
----------------------------------------
<!-- funktion -->
Evallauf parallelisieren
<!-- ziel -->
Verteilt Fälle auf mehrere Kindprozesse
<!-- regeln -->
- Zwischen einem und 32 Prozessen
- Vorgabe sind zwei Prozesse
- Ein Zeitlimit je Prozess ist wählbar
- Das Ergebnis ist ein Sammelbericht
<!-- testen -->
- Kommando mit Prozesszahl aufrufen
- Sammelbericht sichtbar
----------------------------------------
<!-- funktion -->
Berichte aufräumen
<!-- regeln -->
- Nur erzeugte Dateinamen fallen weg
- Aufräumen behält 20 Läufe je Bereich
- Die Liste zeigt zehn Läufe
<!-- testen -->
- Menüeintrag Eval Suite wählen
- LMB auf Aufräumen
- Berichtszahl sinkt
----------------------------------------
<!-- funktion -->
Berichte löschen
<!-- ziel -->
Entfernt alle Läufe eines Bereichs
<!-- regeln -->
- Der aktuelle Lauf fällt mit weg
- Eine Rückfrage geht voraus
<!-- testen -->
- Menüeintrag Eval Suite wählen
- LMB auf alle löschen
- Bestätigen
- Berichtsliste leer