101 lines
2.7 KiB
Markdown
101 lines
2.7 KiB
Markdown
<!-- titel -->
|
|
Evallauf
|
|
----------------------------------------
|
|
<!-- art -->
|
|
optional
|
|
----------------------------------------
|
|
<!-- ziel -->
|
|
Prüft die Antwortpipeline gegen gespeicherte Fälle
|
|
----------------------------------------
|
|
<!-- regeln -->
|
|
- Ein gescheiterter Fall setzt den Gesamtstand
|
|
- Eine leere Auswahl gilt nicht als Fehlschlag
|
|
- Berichte entstehen unteilbar
|
|
- Evals messen Fälle, nicht jede mögliche Frage
|
|
- Fünf Falltypen rufen das Modell
|
|
- Vier Falltypen laufen ohne Modell
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Evallauf starten
|
|
<!-- ziel -->
|
|
Führt Fälle aus dem Adminbereich aus
|
|
<!-- regeln -->
|
|
- Der Lauf braucht die Wissensrolle
|
|
- Der Bericht wird zusätzlich archiviert
|
|
- Der Lauf blockiert die Anfrage bis zum Ende
|
|
<!-- testen -->
|
|
- Menüeintrag Eval Suite wählen
|
|
- Auswahl treffen
|
|
- Lauf starten
|
|
- Ergebnis je Fall sichtbar
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Einzelfall erneut testen
|
|
<!-- ziel -->
|
|
Wiederholt genau einen gescheiterten Fall
|
|
<!-- regeln -->
|
|
- Nur der gewählte Fall läuft
|
|
<!-- testen -->
|
|
- Lauf mit Fehlschlag öffnen
|
|
- LMB auf erneut testen
|
|
- Ergebnis des Falls sichtbar
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Läufe vergleichen
|
|
<!-- ziel -->
|
|
Stellt zwei Berichte als Unterschied gegenüber
|
|
<!-- regeln -->
|
|
- Der Vergleich nennt behoben, neu und entfernt
|
|
<!-- testen -->
|
|
- Menüeintrag Eval Suite wählen
|
|
- Vergleichsbasis wählen
|
|
- Unterschied sichtbar
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Evallauf im Terminal ausführen
|
|
<!-- regeln -->
|
|
- Die Auswahl folgt Typ und Bereich
|
|
- Ein Abbruch nach dem ersten Fehler ist wählbar
|
|
- Ein Lauf ohne Schreiben ist wählbar
|
|
- Fälle lassen sich nur auflisten
|
|
<!-- testen -->
|
|
- Kommando mit Typ aufrufen
|
|
- Ergebnis je Fall sichtbar
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Evallauf parallelisieren
|
|
<!-- ziel -->
|
|
Verteilt Fälle auf mehrere Kindprozesse
|
|
<!-- regeln -->
|
|
- Zwischen einem und 32 Prozessen
|
|
- Vorgabe sind zwei Prozesse
|
|
- Ein Zeitlimit je Prozess ist wählbar
|
|
- Das Ergebnis ist ein Sammelbericht
|
|
<!-- testen -->
|
|
- Kommando mit Prozesszahl aufrufen
|
|
- Sammelbericht sichtbar
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Berichte aufräumen
|
|
<!-- regeln -->
|
|
- Nur erzeugte Dateinamen fallen weg
|
|
- Aufräumen behält 20 Läufe je Bereich
|
|
- Die Liste zeigt zehn Läufe
|
|
<!-- testen -->
|
|
- Menüeintrag Eval Suite wählen
|
|
- LMB auf Aufräumen
|
|
- Berichtszahl sinkt
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Berichte löschen
|
|
<!-- ziel -->
|
|
Entfernt alle Läufe eines Bereichs
|
|
<!-- regeln -->
|
|
- Der aktuelle Lauf fällt mit weg
|
|
- Eine Rückfrage geht voraus
|
|
<!-- testen -->
|
|
- Menüeintrag Eval Suite wählen
|
|
- LMB auf alle löschen
|
|
- Bestätigen
|
|
- Berichtsliste leer
|