358 lines
16 KiB
Python
358 lines
16 KiB
Python
"""Baustein-Lernen: Vertiefung, Bausteinchat und Prüfung zu einzelnen Guide-Sections.
|
||
|
||
Alle Aufrufe sind interaktiv (stdout-Antwort, lane "interactive") und stateless —
|
||
der Chat-/Prüfungs-Verlauf kommt vom Frontend, persistiert wird nur der
|
||
Prüfungs-Zähler (DB) und die Vertiefung (DB).
|
||
"""
|
||
|
||
import logging
|
||
import random
|
||
import re
|
||
import uuid
|
||
from datetime import datetime, timezone
|
||
|
||
from agents import run_agent
|
||
from config import DEFAULT_PROVIDER
|
||
from database import create_element, list_elements
|
||
from elements import generate_element
|
||
from jsonio import parse_json_text as _parse_json_text
|
||
from pipeline import _prompt, _probleme_schema
|
||
from textkit import _norm_titel
|
||
|
||
log = logging.getLogger("creator.lernen")
|
||
|
||
NOETIG = 3 # gute Antworten bis "absolviert" (Tier 1)
|
||
MASTERY = 10 # Score bis "verstanden" (Tier 2)
|
||
MEISTERN = 25 # Score bis "gemeistert" (Tier 3, Maximum)
|
||
CHAT_TIMEOUT = 240
|
||
PRUEFUNG_TIMEOUT = 120 # kurze JSON-Turns; deckelt die Serien-Latenz pro Prüfungs-Schritt
|
||
GRUENDLICH_TIMEOUT = 600 # „Gründlich prüfen": starkes Modell (role guide) braucht länger
|
||
KRITIK_MAX_RUNDEN = 2 # Generator → Kritiker → ggf. Neu, höchstens so oft
|
||
|
||
# Fragetypen für Active Recall — pro Frage einer, zufällig gewählt. Schafft Vielfalt.
|
||
FRAGETYPEN = {
|
||
"abruf": "Free Recall: Lass den Lerner die Kernidee frei aus dem Kopf erklären (offene Verständnisfrage).",
|
||
"punkt": "Cued Recall: Frag gezielt EIN konkretes Detail oder eine Abgrenzung ab.",
|
||
"warum": "Warum-Frage: Frag nach dem Grund/Mechanismus — warum funktioniert oder gilt das so?",
|
||
"anwendung": "Anwendung: Lass das Konzept auf EIN kurzes, neues Beispiel/Szenario anwenden.",
|
||
"pruefen": "Bei Code-/Tool-Themen: kleinen Schnipsel zeigen — Output vorhersagen ODER den Fehler finden. Kein Code-Thema → stattdessen eine Anwendungsfrage.",
|
||
}
|
||
|
||
|
||
def score_berechnen(
|
||
score_vor_frage: int, gut: bool, streak: int, tier2: bool, tier3: bool,
|
||
absolviert: bool, verstanden: bool, gemeistert: bool,
|
||
) -> int:
|
||
"""Neuer Score nach einer Antwort · driftfrei (immer aus dem Basis-Score gerechnet).
|
||
|
||
Drei Stufen, freigeschaltet über Guide-Flags:
|
||
- Tier 1 (tier2=False): +1 bei richtig, KEINE Strafe, Deckel NOETIG (3).
|
||
- Tier 2 (tier2, nicht tier3): +1 / −1, Boden 3, Deckel MASTERY (10).
|
||
- Tier 3 (tier3, Meisterpfad): +1 / −2, Boden 10, Deckel MEISTERN (25).
|
||
Streak-Bonus bei richtig: ab 3 in Folge +2 (Tier 2/3), ab 5 in Folge +3 (Tier 3).
|
||
`streak` = bisherige Folge VOR dieser Antwort; mit dieser Antwort zählt streak+1.
|
||
Boden vor dem Absolvieren ist 0; gemeistert friert bei MEISTERN ein.
|
||
Re-Bewertung nutzt denselben Basis-Score + dieselbe Streak (kein Doppelzählen).
|
||
"""
|
||
if gemeistert:
|
||
return MEISTERN
|
||
# Stufe richtet sich nach dem Baustein-Fortschritt, nicht nur nach den
|
||
# Guide-Flags: ein frischer Baustein durchläuft erst Tier 1 (0→3), auch
|
||
# wenn der Guide schon tier2/tier3 freigibt. Tier 2 erst ab absolviert,
|
||
# Tier 3 erst ab verstanden.
|
||
tier2 = tier2 and absolviert
|
||
tier3 = tier3 and verstanden
|
||
if not tier2:
|
||
floor, cap, strafe = (NOETIG if absolviert else 0), NOETIG, 0
|
||
elif not tier3:
|
||
floor, cap, strafe = NOETIG, MASTERY, -1
|
||
else:
|
||
floor, cap, strafe = MASTERY, MEISTERN, -2
|
||
if gut:
|
||
s = streak + 1
|
||
delta = 3 if (tier3 and s >= 5) else (2 if (tier2 and s >= 3) else 1)
|
||
else:
|
||
delta = strafe
|
||
return max(floor, min(cap, score_vor_frage + delta))
|
||
|
||
|
||
def streak_berechnen(streak_vor: int, gut: bool, tier2: bool, tier3: bool, neu_absolviert: bool, neu_verstanden: bool) -> int:
|
||
"""Neue Streak nach einer Antwort · persistiert. Reset NUR am Deckel der aktiven Stufe:
|
||
Tier 1 → bei neu-absolviert (3), Tier 2 → bei neu-verstanden (10). Sonst läuft sie durch."""
|
||
if not gut:
|
||
return 0
|
||
if (not tier2 and neu_absolviert) or (tier2 and not tier3 and neu_verstanden):
|
||
return 0
|
||
return streak_vor + 1
|
||
|
||
|
||
def _transcript(messages: list[dict]) -> str:
|
||
return "\n".join(
|
||
f"{'Nutzer' if m.get('role') == 'user' else 'Assistent'}: {m.get('content', '')}"
|
||
for m in messages
|
||
) or "(leer)"
|
||
|
||
|
||
async def baustein_chat(topic: str, baustein: str, section: str, kompakt: str | None, messages: list[dict], provider: str = DEFAULT_PROVIDER) -> str:
|
||
try:
|
||
prompt = _prompt(
|
||
"Baustein-Chat",
|
||
topic=topic, baustein=baustein,
|
||
section_block=section.strip() or "(keine Guide-Fassung übergeben)",
|
||
kompakt_block=(kompakt or "").strip() or "(keine)",
|
||
transcript=_transcript(messages),
|
||
)
|
||
returncode, stdout, _ = await run_agent(
|
||
"bausteinchat-" + str(uuid.uuid4()), prompt, CHAT_TIMEOUT,
|
||
provider=provider, role="fast", capabilities="none", lane="interactive",
|
||
)
|
||
if returncode != 0:
|
||
return "Entschuldigung, das hat nicht geklappt. Bitte versuche es erneut."
|
||
reply = stdout.strip()
|
||
return reply or "Entschuldigung, ich habe keine Antwort erhalten."
|
||
except Exception:
|
||
log.warning("[%s] Baustein-Chat fehlgeschlagen (%s)", topic, baustein, exc_info=True)
|
||
return "Entschuldigung, das hat nicht geklappt. Bitte versuche es erneut."
|
||
|
||
|
||
def _frage_schema(data) -> dict | None:
|
||
"""{"frage": str} · sonst None."""
|
||
if not isinstance(data, dict):
|
||
return None
|
||
frage = str(data.get("frage", "")).strip()
|
||
return {"frage": frage} if frage else None
|
||
|
||
|
||
def _bewertung_schema(data) -> dict | None:
|
||
"""{"feedback": str, "bewertung": "gut"|"schlecht", "bestanden": bool} · sonst None."""
|
||
if not isinstance(data, dict):
|
||
return None
|
||
feedback = str(data.get("feedback", "")).strip()
|
||
bewertung = data.get("bewertung")
|
||
if not feedback or bewertung not in ("gut", "schlecht"):
|
||
return None
|
||
return {"feedback": feedback, "bewertung": bewertung, "bestanden": data.get("bestanden") is True}
|
||
|
||
|
||
async def _gen_call(name: str, role: str, schema, provider: str, timeout: int = PRUEFUNG_TIMEOUT, **kwargs) -> dict | None:
|
||
"""Generator-Agent: Template füllen, laufen lassen, per schema parsen · None bei Fehler."""
|
||
returncode, stdout, _ = await run_agent(
|
||
name.lower() + "-" + str(uuid.uuid4()), _prompt(name, **kwargs), timeout,
|
||
provider=provider, role=role, capabilities="none", lane="interactive",
|
||
)
|
||
return schema(_parse_json_text(stdout)) if returncode == 0 else None
|
||
|
||
|
||
async def _kritik_call(name: str, provider: str, role: str = "judge", timeout: int = PRUEFUNG_TIMEOUT, **kwargs) -> list[str]:
|
||
"""Kritiker-Agent (Default role judge): leere Liste = in Ordnung. Fail-open: Ausfall des
|
||
Kritikers darf den Turn nicht blockieren, also dann ebenfalls leere Liste."""
|
||
returncode, stdout, _ = await run_agent(
|
||
name.lower() + "-" + str(uuid.uuid4()), _prompt(name, **kwargs), timeout,
|
||
provider=provider, role=role, capabilities="none", lane="interactive",
|
||
)
|
||
if returncode != 0:
|
||
return []
|
||
return _probleme_schema(_parse_json_text(stdout)) or []
|
||
|
||
|
||
def _kritik_block(vorversion: str, probleme: list[str]) -> str:
|
||
punkte = "\n".join(f"- {p}" for p in probleme)
|
||
return (
|
||
f"Deine vorige Fassung war:\n«{vorversion}»\n\n"
|
||
f"Der Prüfer bemängelt:\n{punkte}\n\nBehebe diese Punkte."
|
||
)
|
||
|
||
|
||
def _bewertung_text(bew: dict) -> str:
|
||
return f"Bewertung: {bew['bewertung']}\nFeedback: {bew['feedback']}"
|
||
|
||
|
||
# Deterministischer Guard gegen Doppelfragen — der KI-Kritiker übersieht „…, und welchen…".
|
||
_FRAGEWORT = r"(was|welche[rsnm]?|wie|wieso|warum|wofür|wozu|wann|wo|wer|wem|wen|nenne)"
|
||
_DOPPEL_RE = re.compile(r"[,;]?\s+(und|sowie|außerdem|bzw\.?)\s+" + _FRAGEWORT + r"\b", re.IGNORECASE)
|
||
|
||
|
||
def _doppelfrage_mangel(frage: str) -> str | None:
|
||
"""Erkennt zwei verkettete Fragen. None = ok. Flaggt NUR 'und/sowie' + Fragewort."""
|
||
if frage.count("?") > 1:
|
||
return "Mehr als ein Fragezeichen — stelle GENAU EINE Frage."
|
||
if _DOPPEL_RE.search(frage):
|
||
return "Zwei Fragen mit 'und'/'sowie' verkettet — stelle GENAU EINE Frage, eine Sache."
|
||
return None
|
||
|
||
|
||
async def _frage_mit_kritik(
|
||
topic: str, baustein: str, section_block: str, kompakt_block: str,
|
||
transcript: str, vermeide_block: str, typ_block: str, fokus_block: str, provider: str,
|
||
) -> str | None:
|
||
"""Frage generieren, vom Kritiker prüfen lassen, bei Mängeln neu (max KRITIK_MAX_RUNDEN)."""
|
||
kritik_block = "(keine)"
|
||
frage = None
|
||
for _ in range(KRITIK_MAX_RUNDEN):
|
||
data = await _gen_call(
|
||
"Baustein-Frage", "fast", _frage_schema, provider,
|
||
topic=topic, baustein=baustein, section_block=section_block,
|
||
kompakt_block=kompakt_block, transcript=transcript, vermeide_block=vermeide_block,
|
||
typ_block=typ_block, fokus_block=fokus_block, kritik_block=kritik_block,
|
||
)
|
||
if data is None:
|
||
return None
|
||
frage = data["frage"]
|
||
probleme = await _kritik_call(
|
||
"Baustein-Frage-Kritik", provider, role="guide", # starke KI prüft die Regeln
|
||
topic=topic, baustein=baustein, section_block=section_block,
|
||
kompakt_block=kompakt_block, transcript=transcript, vermeide_block=vermeide_block,
|
||
typ_block=typ_block, fokus_block=fokus_block, frage=frage,
|
||
)
|
||
hart = _doppelfrage_mangel(frage) # erzwingt Neugenerierung, auch wenn der KI-Kritiker es übersah
|
||
if hart:
|
||
probleme = [hart, *(probleme or [])]
|
||
if not probleme:
|
||
return frage
|
||
kritik_block = _kritik_block(frage, probleme)
|
||
return frage # best-effort nach der letzten Runde
|
||
|
||
|
||
async def _bewertung_mit_kritik(
|
||
topic: str, baustein: str, section_block: str, kompakt_block: str,
|
||
frage: str, transcript: str, gute_antworten: int, provider: str, role: str = "judge",
|
||
) -> dict | None:
|
||
"""Antwort bewerten (gut/schlecht), vom Kritiker prüfen lassen, bei Fehlurteil neu.
|
||
|
||
`frage` ankert die geprüfte Frage; der Dialog (transcript) liefert die Antwort und
|
||
eine etwaige Diskussion — so kann eine Re-Bewertung das Argument sehen.
|
||
`role` = "judge" (schnell) oder "guide" (gründlich, starkes Modell mit Thinking).
|
||
"""
|
||
timeout = GRUENDLICH_TIMEOUT if role == "guide" else PRUEFUNG_TIMEOUT
|
||
kritik_block = "(keine)"
|
||
bew = None
|
||
for _ in range(KRITIK_MAX_RUNDEN):
|
||
bew = await _gen_call(
|
||
"Baustein-Bewertung", role, _bewertung_schema, provider, timeout,
|
||
topic=topic, baustein=baustein, section_block=section_block,
|
||
kompakt_block=kompakt_block, frage=frage, transcript=transcript,
|
||
gute_antworten=gute_antworten, noetig=NOETIG, kritik_block=kritik_block,
|
||
)
|
||
if bew is None:
|
||
return None
|
||
probleme = await _kritik_call(
|
||
"Baustein-Bewertung-Kritik", provider, role=role, timeout=timeout,
|
||
topic=topic, baustein=baustein, section_block=section_block,
|
||
kompakt_block=kompakt_block, frage=frage, transcript=transcript,
|
||
bewertung_block=_bewertung_text(bew),
|
||
)
|
||
if not probleme:
|
||
return bew
|
||
kritik_block = _kritik_block(_bewertung_text(bew), probleme)
|
||
return bew # best-effort nach der letzten Runde
|
||
|
||
|
||
def _bloecke(section: str, kompakt: str | None) -> tuple[str, str]:
|
||
return (
|
||
section.strip() or "(keine Guide-Fassung übergeben)",
|
||
(kompakt or "").strip() or "(keine)",
|
||
)
|
||
|
||
|
||
def _vermeide_block(vermeide: list[str] | None) -> str:
|
||
eintraege = [f.strip() for f in (vermeide or []) if f and f.strip()]
|
||
return "\n".join(f"- {f}" for f in eintraege) or "(keine)"
|
||
|
||
|
||
async def pruefung_frage(
|
||
topic: str, baustein: str, section: str, kompakt: str | None,
|
||
messages: list[dict], subbausteine: list[str] | None = None,
|
||
vermeide: list[str] | None = None, provider: str = DEFAULT_PROVIDER,
|
||
) -> str | None:
|
||
"""Aktion 'frage': eine Frage generieren — zufälliger Typ zu einem zufälligen Subbaustein,
|
||
dann Kritiker (Generator → Kritiker sequenziell) · None bei Fehler."""
|
||
try:
|
||
section_block, kompakt_block = _bloecke(section, kompakt)
|
||
transcript = _transcript(messages) if messages else "(leer)"
|
||
typ_block = FRAGETYPEN[random.choice(list(FRAGETYPEN))]
|
||
subs = [s for s in (subbausteine or []) if s and s.strip()]
|
||
fokus = random.choice(subs) if subs else ""
|
||
fokus_block = (
|
||
f"Konzentriere die Frage auf diesen Subbaustein: „{fokus}\"" if fokus
|
||
else "(ganzer Baustein — kein bestimmter Subbaustein)"
|
||
)
|
||
return await _frage_mit_kritik(
|
||
topic, baustein, section_block, kompakt_block, transcript,
|
||
_vermeide_block(vermeide), typ_block, fokus_block, provider,
|
||
)
|
||
except Exception:
|
||
log.warning("[%s] Frage fehlgeschlagen (%s)", topic, baustein, exc_info=True)
|
||
return None
|
||
|
||
|
||
async def pruefung_bewertung(
|
||
topic: str, baustein: str, section: str, kompakt: str | None,
|
||
frage: str, messages: list[dict], gute_antworten: int, provider: str = DEFAULT_PROVIDER,
|
||
role: str = "judge",
|
||
) -> dict | None:
|
||
"""Aktion 'antwort_pruefen': verbindlich bewerten (Evaluator + Kritiker).
|
||
|
||
`role` = "guide" für „Gründlich prüfen" (starkes Modell), sonst "judge".
|
||
Gibt {"feedback", "bewertung": gut|schlecht, "bestanden"} · None bei Fehler.
|
||
"""
|
||
try:
|
||
section_block, kompakt_block = _bloecke(section, kompakt)
|
||
transcript = _transcript(messages) if messages else "(leer)"
|
||
return await _bewertung_mit_kritik(
|
||
topic, baustein, section_block, kompakt_block,
|
||
frage.strip() or "(keine Frage übergeben)", transcript, gute_antworten, provider, role,
|
||
)
|
||
except Exception:
|
||
log.warning("[%s] Bewertung fehlgeschlagen (%s)", topic, baustein, exc_info=True)
|
||
return None
|
||
|
||
|
||
async def baustein_diskussion(
|
||
topic: str, baustein: str, section: str, kompakt: str | None,
|
||
frage: str, letzte_bewertung: str | None, messages: list[dict], provider: str = DEFAULT_PROVIDER,
|
||
) -> str | None:
|
||
"""Aktion 'diskussion': Tutor erklärt/diskutiert die Frage oder eine Bewertung.
|
||
|
||
Kein Bewerten, kein Kritiker — hier ist der Mensch der Prüfer. None bei Fehler.
|
||
"""
|
||
try:
|
||
section_block, kompakt_block = _bloecke(section, kompakt)
|
||
prompt = _prompt(
|
||
"Baustein-Pruefung-Diskussion",
|
||
topic=topic, baustein=baustein,
|
||
section_block=section_block, kompakt_block=kompakt_block,
|
||
frage=frage.strip() or "(keine Frage übergeben)",
|
||
letzte_bewertung_block=(letzte_bewertung or "").strip() or "(noch keine)",
|
||
transcript=_transcript(messages) if messages else "(leer)",
|
||
)
|
||
returncode, stdout, _ = await run_agent(
|
||
"pruefungdiskussion-" + str(uuid.uuid4()), prompt, CHAT_TIMEOUT,
|
||
provider=provider, role="fast", capabilities="none", lane="interactive",
|
||
)
|
||
if returncode != 0:
|
||
return None
|
||
return stdout.strip() or None
|
||
except Exception:
|
||
log.warning("[%s] Prüfungs-Diskussion fehlgeschlagen (%s)", topic, baustein, exc_info=True)
|
||
return None
|
||
|
||
|
||
async def baustein_element_anlegen(topic: str, baustein: str, section: str, provider: str = DEFAULT_PROVIDER) -> None:
|
||
"""Hintergrund-Task nach dem Absolvieren: Baustein als Element anlegen.
|
||
|
||
Dedup über normalisierte Titel — existiert schon ein Element zum Baustein,
|
||
passiert nichts. Darf nie eine Exception nach außen werfen.
|
||
"""
|
||
try:
|
||
vorhanden = {_norm_titel(e["title"]) for e in await list_elements(topic)}
|
||
if _norm_titel(baustein) in vorhanden:
|
||
return
|
||
fields = await generate_element(topic, hint=baustein, provider=provider, extra_context=section)
|
||
if _norm_titel(fields["title"]) in vorhanden:
|
||
return
|
||
now = datetime.now(timezone.utc).isoformat()
|
||
await create_element({"id": str(uuid.uuid4()), "topic": topic, **fields, "created_at": now, "updated_at": now})
|
||
log.info("[%s] Baustein als Element angelegt: %s", topic, fields["title"])
|
||
except Exception:
|
||
log.warning("[%s] Element-Anlage nach Prüfung fehlgeschlagen (%s)", topic, baustein, exc_info=True)
|