p100
This commit is contained in:
75
patch_history/RETRIEX_PATCH_100_ADMIN_EVAL_UX_README.md
Normal file
75
patch_history/RETRIEX_PATCH_100_ADMIN_EVAL_UX_README.md
Normal file
@@ -0,0 +1,75 @@
|
||||
# RetrieX Patch p100 - Admin Eval UX
|
||||
|
||||
Status: patch-only candidate
|
||||
Basis: confirmed v1.6.2 + p99/p99b/p99c green eval suite
|
||||
|
||||
## Ziel
|
||||
|
||||
p100 macht die mit p99 eingeführte Eval-Suite im Admin sichtbar und bedienbar, ohne die produktive RAG-, Shop-, Prompt-, Scoring- oder Antwortlogik fachlich zu ändern.
|
||||
|
||||
## Enthalten
|
||||
|
||||
- Neuer Admin-Bereich `/admin/evals/`
|
||||
- Übersicht über die Eval-Typen:
|
||||
- `retrieval`
|
||||
- `shop_query`
|
||||
- `followup`
|
||||
- `answer_guard`
|
||||
- Anzeige der Case-Anzahl pro Typ
|
||||
- Anzeige typspezifischer letzter Reports aus `tests/evals/reports/<type>-last-run.json`
|
||||
- Run-Buttons pro Eval-Typ
|
||||
- Formular zum Ausführen eines kompletten Typs oder einer einzelnen Case-ID
|
||||
- Detailansicht für PASS/FAIL, Fehler und Result-Details
|
||||
- CLI-Referenz im Admin
|
||||
- Sidebar-Link unter KI-Endpunkte
|
||||
- Link von der KI-/LLM-Setup-Seite zur Eval Suite
|
||||
|
||||
## Report-Verhalten
|
||||
|
||||
Admin-Runs schreiben zwei Reports:
|
||||
|
||||
- `tests/evals/reports/<type>-last-run.json`
|
||||
- `tests/evals/reports/last-run.json`
|
||||
|
||||
Die CLI bleibt unverändert und schreibt weiterhin den bekannten `last-run.json`.
|
||||
|
||||
## Rollen
|
||||
|
||||
Der neue Bereich ist auf Controller-Ebene durch `ROLE_KNOWLEDGE_ADMIN` geschützt.
|
||||
|
||||
## Nicht geändert
|
||||
|
||||
- keine Retrieval-Gewichte
|
||||
- keine Shopquery-Erzeugungslogik
|
||||
- keine Follow-up-Logik
|
||||
- keine Answer-Guard-Logik
|
||||
- keine Prompt-Änderung
|
||||
- keine YAML-Vokabularänderung
|
||||
- keine Modellparameteränderung
|
||||
- keine Datenbankmigration
|
||||
|
||||
## Geänderte Dateien
|
||||
|
||||
- `src/Controller/Admin/AdminEvalController.php`
|
||||
- `src/Service/Admin/EvalAdminService.php`
|
||||
- `templates/admin/evals/index.html.twig`
|
||||
- `templates/admin/base.html.twig`
|
||||
- `templates/admin/model_config/list.html.twig`
|
||||
- `patch_history/RETRIEX_PATCH_100_ADMIN_EVAL_UX_README.md`
|
||||
|
||||
## Prüfung nach Einspielen
|
||||
|
||||
```bash
|
||||
php bin/console mto:agent:config:validate
|
||||
php bin/console mto:agent:eval:run retrieval
|
||||
php bin/console mto:agent:eval:run shop_query
|
||||
php bin/console mto:agent:eval:run followup
|
||||
php bin/console mto:agent:eval:run answer_guard
|
||||
```
|
||||
|
||||
Zusätzlich im Browser prüfen:
|
||||
|
||||
- `/admin/evals/`
|
||||
- Eval-Typ ausführen
|
||||
- Detailreport öffnen
|
||||
- Sidebar-Link sichtbar für Knowledge Admins
|
||||
Reference in New Issue
Block a user