# mitho AI Agent **Hybrid RAG System auf Symfony-Basis mit Vektor- & Keyword-Retrieval** --- ## Überblick Der **mitho AI Agent** ist ein produktionsreifes, Symfony-basiertes RAG-System (Retrieval Augmented Generation), das KI nicht frei „raten“ lässt, sondern Antworten strikt auf Basis eines kontrollierten Wissenspools erzeugt. > **Leitsatz:** > *„Wir nutzen KI nicht, um kreativ zu raten, sondern um verlässlich auf Basis Ihres Wissens zu antworten.“* Das System kombiniert: - Large Language Model (LLM, z. B. Qwen via Ollama) - Keyword-basiertes Retrieval - FAISS-Vektor-Suche - Versionierte Wissensstruktur (Chunks + Index) - Streaming-Ausgabe via Server-Sent Events (SSE) - Persistente Chat-Historie pro Client --- # Architektur ## 1. Backend **Technologie** - PHP 8.2+ - Symfony 7.4 - Monolog Logging - Symfony Cache - Session Support ### Zentrale Komponenten | Komponente | Aufgabe | |------------|----------| | `AgentRunner` | Orchestriert Prompt, Kontext & LLM | | `PromptBuilder` | Baut System- & User-Prompt | | `ContextService` | Historienverwaltung | | `ChunkKeywordRetriever` | Keyword-Scoring | | `VectorSearchClient` | Python-FAISS-Anbindung | | `KnowledgeIngestService` | Dokument → Chunks | | `ChunkIndexWriter` | index.json Verwaltung | | `CachedRetriever` | Performance-Optimierung | --- ## 2. Hybrid Retrieval (Produktionsarchitektur) Das System nutzt eine **hybride Sucharchitektur**: ### A) Keyword-Retrieval (führend) - Stopword-Filter - Lemma-Logik - Score-Berechnung - deterministische Gewichtung ### B) Vektor-Retrieval (ergänzend) - SentenceTransformer: `all-MiniLM-L6-v2` - FAISS Index (Inner Product) - Normalisierte Embeddings - Top-K Suche ### Retrieval-Flow 1. User Prompt 2. Keyword-Scoring 3. FAISS-Suche 4. Score-Fusion 5. Top-N Chunks 6. Kontextaufbau 7. LLM-Antwort --- ## 3. Wissensarchitektur ``` var/knowledge/ ├── uploads/ ├── chunks/ ├── manifest.json └── index.json ``` ### Prinzipien - Dokumente sind Primärquelle - Chunks sind abgeleitete Artefakte - `index.json` ist Single Source of Truth - Re-Ingest ist deterministisch - Keine manuelle Chunk-Manipulation --- ## 4. Vektor-Ingest CLI Command: ```bash php bin/console mto:agent:vector:ingest ``` Ablauf: 1. index.json lesen 2. Chunk-Texte laden 3. Embeddings erzeugen 4. FAISS Index erstellen 5. vector.index speichern 6. vector_meta.json schreiben --- ## 5. LLM-Anbindung Standardmäßig via Ollama. Konfiguration über ENV: ``` AI_LLM_API_URL= AI_LLM_MODEL= AI_LLM_TIMEOUT= AI_DEBUG= AI_LOG_PROMPT= AI_LOG_CONTEXT= AI_HISTORY_DIR= ``` Features: - Streaming-fähig - Konfigurierbarer Timeout - Denkmodus unterdrückbar - Historienintegration --- ## 6. Frontend Technologie: - Bootstrap - Marked (Markdown) - DOMPurify - SSE Streaming Features: - Live-Streaming - Markdown-Rendering - Abbruch-Funktion - Chat-Verlauf - Client-ID per Cookie - Verlaufslöschung --- ## 7. Logging & Debug Log-Datei: ``` var/log/agent.log ``` Optional aktivierbar: - Prompt Logging - Kontext Logging - Debug-Modus --- # Sicherheit & Governance - Rollenmodell (Super Admin / Knowledge Admin / Redaktion) - Versionierte Dokumente - Versionierte Ingest-Profile - Versionierte System-Prompts - KI-Endpunkt abstrahiert - Audit-Logs - Lock-Mechanismen bei Reindex --- # Produktstatus Das System ist: - Produktionsreif - Framework-neutral - Kundenfähig - Skalierbar - Erweiterbar (Adminbereich geplant) Nicht enthalten: - Autonomes Fine-Tuning - Live-Lernsystem - Self-Modifying Knowledge --- # Unterschied zu generischen KI-Tools | Generische KI | mitho AI Agent | |---------------|----------------| | trainiert auf Internet | basiert auf Ihrem Wissen | | keine Governance | volle Kontrolle | | keine Versionierung | Dokument-Versionierung | | nicht nachvollziehbar | transparente Wissensbasis | | generisch | unternehmensspezifisch | --- # Mindestanforderungen - PHP 8.2+ - Python 3.9+ - faiss - sentence-transformers - Ollama (oder kompatibles LLM) --- # Vision Dieses System bildet die Grundlage für: - Agentic Commerce - Interne Wissenssysteme - Support-Automatisierung - Vertriebsassistenz - Technische Dokumentations-KI - DSGVO-konforme Unternehmens-KI --- # Fazit Der mitho AI Agent ist kein Spielzeug-Chatbot. Er ist ein strukturiertes, kontrolliertes KI-System mit klarer Wissensbasis, deterministischem Retrieval und professioneller Architektur – gebaut für produktiven Unternehmenseinsatz.