287 lines
9.8 KiB
Markdown
287 lines
9.8 KiB
Markdown
<!-- titel -->
|
|
Agenten
|
|
----------------------------------------
|
|
<!-- art -->
|
|
kern
|
|
----------------------------------------
|
|
<!-- ziel -->
|
|
Steuert Agentenaktivitaet und prueft deren Komponenten automatisiert
|
|
----------------------------------------
|
|
<!-- regeln -->
|
|
- JSON-Ausgabe bei gesetztem --json Flag
|
|
- Self-TestsFuehrenKeineMCPTransportAufrufeAus
|
|
- AgentenaktivitaetSeiteAusQueryParameterPage
|
|
- LimitZwischen1Und200Standardmaessig50
|
|
- StreamingGibtJedesTokenSofortAus
|
|
- Inspector liefert paths, meta und ndjson
|
|
- paths zeigen konfigurierte Agentenlogikdateien
|
|
- meta enthält Statistiken zur Agentenaktivität
|
|
- ndjson enthält paginierte Aktivitätseinträge
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Agentenaktivität anzeigen
|
|
<!-- ziel -->
|
|
Zeigt eine liste der agentenaktivitäten
|
|
<!-- regeln -->
|
|
- Seite aus Query-Parameter page
|
|
- Limit zwischen 1 und 200
|
|
- Standardlimit 50
|
|
<!-- testen -->
|
|
- Admin-System-Agent abrufen
|
|
- Antwort ist 200
|
|
- Debug-Count zeigt Itemanzahl
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Chat-Auswahl-Guard testen
|
|
<!-- ziel -->
|
|
Validiert dass der Chat-Auswahl-Guard korrekt funktioniert
|
|
<!-- regeln -->
|
|
- Command mto:agent:knowledge-space:chat-selection-guard-self-test
|
|
- json gibt strukturierte Daten aus
|
|
- Exit-Code 0 bei Status OK, sonst 1
|
|
<!-- testen -->
|
|
- Command mit --json Flag ausführen
|
|
- JSON mit status summary cases enthält
|
|
- Exit-Code entspricht Status
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Fähigkeiten ermitteln
|
|
<!-- ziel -->
|
|
Listet verfügbare Resources, Tools und Prompts eines Admin-MCP-Servers auf
|
|
<!-- regeln -->
|
|
- Benötigt gespeicherten Admin-MCP-Server
|
|
- read liest Resource-URIs metadaten
|
|
- json maschinelles Format
|
|
- Status ready bei erfolgreicher Erkennung
|
|
- Runtime-Calls gezählt
|
|
<!-- testen -->
|
|
- Befehl mit gespeichertem Servernamen ausführen
|
|
- Ausgabe auf Status ready prüfen
|
|
- Resources, Tools und Prompts in Ausgabe
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Hybrid-Tool-Auswahl testen
|
|
<!-- ziel -->
|
|
Stellt sicher, dass LLM-Vorschlag und RetrieX-Validierung bei der Tool-Auswahl zusammenarbeiten
|
|
<!-- regeln -->
|
|
- Planner besteht eigenen Self-Test
|
|
- AgentRunner nutzt LLM für Vorschlag vor RetrieX-Validierung
|
|
- Loader zeigt Status beim Tool-Auswählen
|
|
- Model-Config enthält dediziertes mcp_tool_selection-Modell
|
|
<!-- testen -->
|
|
- mto:agent:mcp:hybrid-tool-selection-planner-self-test --json ausführen
|
|
- JSON-Ausgabe auf status OK prüfen
|
|
- Alle vier Cases mit Status PASS vorhanden
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
MCP-Gateway trocken ausführen
|
|
<!-- ziel -->
|
|
Prüft ob eine Resource die Gateway-Policy erfüllt und welches Evidence erzeugt wird
|
|
<!-- regeln -->
|
|
- Kein MCP-Transport wird geöffnet
|
|
- fixture nutzt eingebaute Testdaten
|
|
- Exit-Code 0 bei Status ready
|
|
- json gibt Ergebnis als JSON aus
|
|
<!-- testen -->
|
|
- bin console mto agent mcp gateway-dry-run --fixture ausführen
|
|
- Ausgabe zeigt status ready
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
MCP-Laufzeit-Gate prüfen
|
|
<!-- ziel -->
|
|
Prüft ob ein MCP-Read-Only-Zugriff erlaubt ist, ohne Transport zu öffnen
|
|
<!-- regeln -->
|
|
- Gate ohne Transport öffnen
|
|
- fixture nutzt eingebaute Testdaten
|
|
- assume-enabled simuliert aktivierte MCP-Konfiguration
|
|
- JSON-Ausgabe verfügbar
|
|
<!-- testen -->
|
|
- Console-Befehl mit --json ausführen
|
|
- Exit-Code auf SUCCESS prüfen
|
|
- JSON auf Status ready und Fehler prüfen
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
MCP-Laufzeitgrenze testen
|
|
<!-- ziel -->
|
|
Validiert, dass MCP-Server nur Admin-gesteuert und begrenzt in der Antwort-Runtime verwendet werden
|
|
<!-- regeln -->
|
|
- McpDataRoomStore nur in Admin, CLI, ReadModels referenziert
|
|
- Keine externen MCP-Abrufe in Runtime-Boundary
|
|
- Keine Chat-, Retrieval- oder Evidence-Beruehrung
|
|
- Tool-Nachweise unterscheiden sichtbare Tool-Ausfuehrung
|
|
- Tool-first-Inhalts-Fallback bleibt im Statusprotokoll sichtbar
|
|
- Live-Inhalts-Fallback buendelt MCP-JSON-RPC-Resource-Reads
|
|
<!-- testen -->
|
|
- Rueckgabewert pruefen: Exitcode 0 bestaetigt OK
|
|
- Rueckgabewert pruefen: Exitcode 1 bestaetigt FAIL
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
MCP-Quelle prüfen
|
|
<!-- ziel -->
|
|
Prüft eine gespeicherte Admin-MCP-Quelle als registrierungskompatible Richtlinie
|
|
<!-- regeln -->
|
|
- Lokale Prüfung ohne MCP-Transport
|
|
- server wählt die gespeicherte Quelle
|
|
- audit-all prüft alle Quellen
|
|
- online führt einen Nur-Lese-Netzwerktest durch
|
|
- json gibt nur Metadaten aus
|
|
<!-- testen -->
|
|
- mto:agent:mcp:admin-source-check --server=my_source
|
|
- Ergebnis zeigt Status, Label und Fehler
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Mit Agent chatten
|
|
<!-- ziel -->
|
|
Stellt Fragen an den KI-Agenten und empfängt Antworten in Echtzeit
|
|
<!-- regeln -->
|
|
- Streaming-Ausgabe jedes Tokens sofort
|
|
- Beendet auf Eingabe von exit
|
|
- Beendet auf Strg+C
|
|
- Leerer Prompt beendet
|
|
- user-id Standardwert ist cli
|
|
<!-- testen -->
|
|
- mto:agent:chat ausführen
|
|
- Frage eingeben
|
|
- Antwort tokenweise empfangen
|
|
- exit eingeben
|
|
- CLI beendet
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Performance-Cache leeren
|
|
<!-- ziel -->
|
|
Leert alle RetrieX Runtime-Caches und den Python Vector-Service-Query-Cache
|
|
<!-- regeln -->
|
|
- Löscht den PHP Runtime-Cache
|
|
- Löscht optional den Vector-Service-Query-Cache
|
|
- skip-vector-service überspringt den Vector-Service-Cache
|
|
- json gibt maschinenlesbare Ausgabe aus
|
|
<!-- testen -->
|
|
- php bin console mto:agent:performance:cache:clear json
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Produktlabel-Formatierer testen
|
|
<!-- ziel -->
|
|
Validiert die p465-Formatter-Extraktion ohne Laufzeiteffekte
|
|
<!-- regeln -->
|
|
- Liest nur lokale Quelldateien
|
|
- Ruft keine Chat-, Retrieval-, Shop-, MCP- oder LLM-Dienste auf
|
|
- Prüft AgentRunner-Delegation an ProductLabelFormatter
|
|
- Prüft Formatter-Besitz reiner Anzeige-Methoden
|
|
- Prüft Formatter-Besitz reiner Label-Methoden
|
|
- Prüft Abwesenheit von Runtime-Dependencies im Formatter
|
|
- Prüft Abwesenheit von p465-Methoden im AgentRunner
|
|
- Prüft Dokumentationsabdeckung in allen Referenzdateien
|
|
<!-- testen -->
|
|
- Produktlabel-Formatter-Selbsttest mit --json ausführen
|
|
- JSON zeigt status OK und 11 PASS
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Release-Selbsttest bereitstellen
|
|
<!-- ziel -->
|
|
Validiert den v1.10.8 Release-Lock ohne Seiteneffekte im Chat-Pipeline, Agent-Runtime, Retrieval, Ranking, Shop, Followup, Evidence oder Truth Layer.
|
|
<!-- regeln -->
|
|
- Prüft 22 Release-Artefakte
|
|
- Prüft 8 zentrale Produktdokumente auf v1.10.8
|
|
- Prüft 16 Required-Release-Phrasen
|
|
- Liest nur lokale Dateien
|
|
- Führt keine Chat-, LLM- oder MCP-Live-Aufrufe aus
|
|
- Führt keine Retrieval-, Shop- oder Netzaufrufe aus
|
|
<!-- testen -->
|
|
- Ausgabe zeigt Status PASS
|
|
- JSON zeigt status OK und runtime_calls 0
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Ressource abrufen
|
|
<!-- ziel -->
|
|
Liest eine erlaubte MCP-Ressource über die CLI ab
|
|
<!-- regeln -->
|
|
- Nur allowlisted Ressourcen abrufbar
|
|
- MIME-Typ geprüft
|
|
- Ergebnis enthält Status, Metadaten und Fehler
|
|
<!-- testen -->
|
|
- Befehl mit Optionen ausführen
|
|
- Kurzformat prüfen
|
|
- json Flag verwenden
|
|
- Status ready und Ressource vorhanden
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Ressource validieren
|
|
<!-- ziel -->
|
|
Ermöglicht das Prüfen, ob eine MCP-Ressource_URI auf der Allowlist steht
|
|
<!-- regeln -->
|
|
- Prüft URI gegen konfigurierten Allowlist-Eintrag
|
|
- Prüft MIME-Type gegen erlaubte Typen des Eintrags
|
|
- Gibt Fehler und Warnungen aus
|
|
- CLI-Exit-Code spiegelt Entscheidung wider
|
|
<!-- testen -->
|
|
- CLI-Befehl mit --server und --resource-uri ausführen
|
|
- Option --mime-type ergänzen
|
|
- Exit-Code zeigt Ergebnis an
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Rollencode-Zuweisung prüfen
|
|
<!-- ziel -->
|
|
Validiert die p465b-Rollencode-Zuweisungs-Grenzen ohne Laufzeiteffekte
|
|
<!-- regeln -->
|
|
- Prüft statische Artefakte nur
|
|
- Keine Chat-, Retrieval- oder LLM-Laufzeit
|
|
- Keine Shop-Suche
|
|
- Keine MCP-Aufrufe
|
|
- ProductLabelFormatter bleibt frei von Shop, Retrieval, Evidence und LLM
|
|
- AgentRunner bleibt Orchestrator
|
|
<!-- testen -->
|
|
- Befehl ausführen: mto:agent:architecture:product-role-code-assignment-guard-self-test
|
|
- Ausgabe auf Status OK prüfen
|
|
- Ergebnis: status = OK oder FAIL mit Details
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Stabilitäts-Selbsttest bereitstellen
|
|
<!-- ziel -->
|
|
Validierung der Shop- und Follow-up-Ankerwächter vor dem Deployment
|
|
<!-- regeln -->
|
|
- Prüft REQUIRED_METHODS in AgentRunner.php
|
|
- Prüft keine FORBIDDEN_GUARD_MARKERS in Ankerwächter-Methoden
|
|
- Liest PATCH_MANIFEST.md und patch_history-Dateien
|
|
- Erzeugt Report ohne Runtime-Seiteneffekte
|
|
- json gibt maschinenlesbares Format aus
|
|
<!-- testen -->
|
|
- Binconsole mto:agent:shop-followup-anchor-stability-self-test
|
|
- Status OK prüfen
|
|
- passed größer 0 prüfen
|
|
- failed gleich 0 prüfen
|
|
- Binconsole mit --json
|
|
- JSON-Status OK prüfen
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
System rebuild bereitstellen
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Vektordienst steuern
|
|
<!-- ziel -->
|
|
Steuert den Vektorsuchdienst über die Kommandozeile
|
|
<!-- regeln -->
|
|
- Rufzeit 300 Sekunden
|
|
- Standard-Host 0.0.0.0
|
|
- Standard-Port 8090
|
|
- Ruft Vector-Kontrollskript auf
|
|
<!-- testen -->
|
|
- Status wird angezeigt
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
Wissensbatch finalisieren testen
|
|
<!-- ziel -->
|
|
Prüft die Verknüpfung von Batch-Abschluss und Bericht ohne Seiteneffekte
|
|
<!-- regeln -->
|
|
- Prüft ohne Import, LLM-Aufruf oder Index-Rebuild
|
|
- Neun Prüfungen für Routing, Report und Abhängigkeiten
|
|
- Gibt FAIL bei einer einzigen fehlgeschlagenen Prüfung
|
|
- JSON-Ausgabe enthält status, scope, checks und failed
|
|
<!-- testen -->
|
|
- Command ausführen: mto:agent:knowledge:batch-finalize-self-test
|
|
- Ausgabe zeigt status OK oder FAIL
|
|
- JSON-Flag setzen: --json
|
|
- JSON enthält status und failed-Liste
|
|
----------------------------------------
|
|
<!-- funktion -->
|
|
MCP-Allowlist prüfen
|