update
This commit is contained in:
@@ -42,6 +42,16 @@ RECHERCHE_GRACE = 900
|
||||
# Prüf-Loops lassen Rest-Beanstandungen danach stehen.
|
||||
KONSENS_MAX_RUNDEN = 3
|
||||
|
||||
# Crawler-Sichtung (Content/Noise) — deterministischer Regel-Filter statt LLM.
|
||||
# Match: Substring (klein) gegen URL UND Dateiname. Reihenfolge: keep > noise > min_chars > behalten.
|
||||
# Sonderregeln einfach hier ergänzen.
|
||||
CRAWL_KEEP_PATTERNS = ["learn-unit", "learn-course"] # immer Content
|
||||
CRAWL_NOISE_PATTERNS = [ # eindeutig themenfremd → raus
|
||||
"clubs", "events", "podcasts", "resources", "-u-",
|
||||
"academy", "pricing", "/plans", "career", "newsletter", "impressum", "login",
|
||||
]
|
||||
CRAWL_MIN_CHARS = 400 # zu wenig Text → raus
|
||||
|
||||
# Timeouts pro Agenten-Schritt: (Basis-Sekunden, Sekunden pro Baustein/Section).
|
||||
# Gilt für alle Provider gleich — wer zu langsam ist, wird neu gestartet bzw. überholt.
|
||||
TIMEOUTS = {
|
||||
|
||||
Reference in New Issue
Block a user