21 lines
928 B
Bash
21 lines
928 B
Bash
# Optionaler CPU-Kompressionsserver. Modellgewichte separat bereitstellen.
|
|
# Gleiche Binary-Auswahl wie beim Hauptmodell; bei Bedarf explizit setzen.
|
|
LLAMA_SERVER_BIN=""
|
|
LLAMA_MODEL="$HOME/.local/share/hermes-stack/models/qwen3-1.7b-compression/Qwen3-1.7B-Q4_K_M.gguf"
|
|
LLAMA_HF_REPO=""
|
|
LLAMA_MMPROJ=""
|
|
LLAMA_ALIAS="qwen3-1.7b-compression"
|
|
LLAMA_HOST="127.0.0.1"
|
|
LLAMA_PORT="8081"
|
|
LLAMA_PROFILE=""
|
|
LLAMA_ARGS=(
|
|
--ctx-size 65536 --rope-scaling yarn --rope-scale 2 --yarn-orig-ctx 32768
|
|
--parallel 1 --jinja --reasoning-budget 0 --no-reasoning-preserve
|
|
--n-gpu-layers 0 --device none --no-op-offload --no-kv-offload
|
|
--threads 8 --threads-batch 8 --flash-attn auto
|
|
--cache-type-k q8_0 --cache-type-v q8_0 --no-ui
|
|
)
|
|
# 64K-Kontext ist die übernommene Workstation-Konfiguration mit YaRN.
|
|
# Die Binary meldet Kontext über dem Trainingslimit; Qualität bei langen
|
|
# Kompressionsaufgaben auf dem Zielmodell gesondert prüfen.
|