update

daten/MtoRagSystem/.planung/evallauf.md

@@ -0,0 +1,100 @@
+<!-- titel -->
+Evallauf
+----------------------------------------
+<!-- art -->
+optional
+----------------------------------------
+<!-- ziel -->
+Prüft die Antwortpipeline gegen gespeicherte Fälle
+----------------------------------------
+<!-- regeln -->
+- Ein gescheiterter Fall setzt den Gesamtstand
+- Eine leere Auswahl gilt nicht als Fehlschlag
+- Berichte entstehen unteilbar
+- Evals messen Fälle, nicht jede mögliche Frage
+- Fünf Falltypen rufen das Modell
+- Vier Falltypen laufen ohne Modell
+----------------------------------------
+<!-- funktion -->
+Evallauf starten
+<!-- ziel -->
+Führt Fälle aus dem Adminbereich aus
+<!-- regeln -->
+- Der Lauf braucht die Wissensrolle
+- Der Bericht wird zusätzlich archiviert
+- Der Lauf blockiert die Anfrage bis zum Ende
+<!-- testen -->
+- Menüeintrag Eval Suite wählen
+- Auswahl treffen
+- Lauf starten
+- Ergebnis je Fall sichtbar
+----------------------------------------
+<!-- funktion -->
+Einzelfall erneut testen
+<!-- ziel -->
+Wiederholt genau einen gescheiterten Fall
+<!-- regeln -->
+- Nur der gewählte Fall läuft
+<!-- testen -->
+- Lauf mit Fehlschlag öffnen
+- LMB auf erneut testen
+- Ergebnis des Falls sichtbar
+----------------------------------------
+<!-- funktion -->
+Läufe vergleichen
+<!-- ziel -->
+Stellt zwei Berichte als Unterschied gegenüber
+<!-- regeln -->
+- Der Vergleich nennt behoben, neu und entfernt
+<!-- testen -->
+- Menüeintrag Eval Suite wählen
+- Vergleichsbasis wählen
+- Unterschied sichtbar
+----------------------------------------
+<!-- funktion -->
+Evallauf im Terminal ausführen
+<!-- regeln -->
+- Die Auswahl folgt Typ und Bereich
+- Ein Abbruch nach dem ersten Fehler ist wählbar
+- Ein Lauf ohne Schreiben ist wählbar
+- Fälle lassen sich nur auflisten
+<!-- testen -->
+- Kommando mit Typ aufrufen
+- Ergebnis je Fall sichtbar
+----------------------------------------
+<!-- funktion -->
+Evallauf parallelisieren
+<!-- ziel -->
+Verteilt Fälle auf mehrere Kindprozesse
+<!-- regeln -->
+- Zwischen einem und 32 Prozessen
+- Vorgabe sind zwei Prozesse
+- Ein Zeitlimit je Prozess ist wählbar
+- Das Ergebnis ist ein Sammelbericht
+<!-- testen -->
+- Kommando mit Prozesszahl aufrufen
+- Sammelbericht sichtbar
+----------------------------------------
+<!-- funktion -->
+Berichte aufräumen
+<!-- regeln -->
+- Nur erzeugte Dateinamen fallen weg
+- Aufräumen behält 20 Läufe je Bereich
+- Die Liste zeigt zehn Läufe
+<!-- testen -->
+- Menüeintrag Eval Suite wählen
+- LMB auf Aufräumen
+- Berichtszahl sinkt
+----------------------------------------
+<!-- funktion -->
+Berichte löschen
+<!-- ziel -->
+Entfernt alle Läufe eines Bereichs
+<!-- regeln -->
+- Der aktuelle Lauf fällt mit weg
+- Eine Rückfrage geht voraus
+<!-- testen -->
+- Menüeintrag Eval Suite wählen
+- LMB auf alle löschen
+- Bestätigen
+- Berichtsliste leer