first update to external config values
This commit is contained in:
17
config/retriex/model.yaml
Normal file
17
config/retriex/model.yaml
Normal file
@@ -0,0 +1,17 @@
|
||||
# Default model generation values used only when no DB value/user input overrides them.
|
||||
parameters:
|
||||
retriex.model.default_name: 'mto-model'
|
||||
retriex.model.default_stream: false
|
||||
retriex.model.default_temperature: 0.1
|
||||
retriex.model.default_top_k: 20
|
||||
retriex.model.default_top_p: 0.8
|
||||
retriex.model.default_repeat_penalty: 1.05
|
||||
retriex.model.default_num_ctx: 4096
|
||||
retriex.model.default_retrieval_max_chunks: 25
|
||||
retriex.model.default_retrieval_vector_top_k: 25
|
||||
|
||||
retriex.model.guardrail_min_num_ctx: 512
|
||||
retriex.model.guardrail_max_retrieval_chunks: 200
|
||||
retriex.model.guardrail_max_vector_top_k: 200
|
||||
|
||||
retriex.llm.timeout_seconds: 600
|
||||
Reference in New Issue
Block a user