This commit is contained in:
team 1
2026-05-12 08:57:57 +02:00
parent 03d4a1d7c3
commit 0d55c0a439
6 changed files with 769 additions and 7 deletions

View File

@@ -0,0 +1,75 @@
# RetrieX Patch p100 - Admin Eval UX
Status: patch-only candidate
Basis: confirmed v1.6.2 + p99/p99b/p99c green eval suite
## Ziel
p100 macht die mit p99 eingeführte Eval-Suite im Admin sichtbar und bedienbar, ohne die produktive RAG-, Shop-, Prompt-, Scoring- oder Antwortlogik fachlich zu ändern.
## Enthalten
- Neuer Admin-Bereich `/admin/evals/`
- Übersicht über die Eval-Typen:
- `retrieval`
- `shop_query`
- `followup`
- `answer_guard`
- Anzeige der Case-Anzahl pro Typ
- Anzeige typspezifischer letzter Reports aus `tests/evals/reports/<type>-last-run.json`
- Run-Buttons pro Eval-Typ
- Formular zum Ausführen eines kompletten Typs oder einer einzelnen Case-ID
- Detailansicht für PASS/FAIL, Fehler und Result-Details
- CLI-Referenz im Admin
- Sidebar-Link unter KI-Endpunkte
- Link von der KI-/LLM-Setup-Seite zur Eval Suite
## Report-Verhalten
Admin-Runs schreiben zwei Reports:
- `tests/evals/reports/<type>-last-run.json`
- `tests/evals/reports/last-run.json`
Die CLI bleibt unverändert und schreibt weiterhin den bekannten `last-run.json`.
## Rollen
Der neue Bereich ist auf Controller-Ebene durch `ROLE_KNOWLEDGE_ADMIN` geschützt.
## Nicht geändert
- keine Retrieval-Gewichte
- keine Shopquery-Erzeugungslogik
- keine Follow-up-Logik
- keine Answer-Guard-Logik
- keine Prompt-Änderung
- keine YAML-Vokabularänderung
- keine Modellparameteränderung
- keine Datenbankmigration
## Geänderte Dateien
- `src/Controller/Admin/AdminEvalController.php`
- `src/Service/Admin/EvalAdminService.php`
- `templates/admin/evals/index.html.twig`
- `templates/admin/base.html.twig`
- `templates/admin/model_config/list.html.twig`
- `patch_history/RETRIEX_PATCH_100_ADMIN_EVAL_UX_README.md`
## Prüfung nach Einspielen
```bash
php bin/console mto:agent:config:validate
php bin/console mto:agent:eval:run retrieval
php bin/console mto:agent:eval:run shop_query
php bin/console mto:agent:eval:run followup
php bin/console mto:agent:eval:run answer_guard
```
Zusätzlich im Browser prüfen:
- `/admin/evals/`
- Eval-Typ ausführen
- Detailreport öffnen
- Sidebar-Link sichtbar für Knowledge Admins