# Optionaler CPU-Kompressionsserver. Modellgewichte separat bereitstellen.
# Gleiche Binary-Auswahl wie beim Hauptmodell; bei Bedarf explizit setzen.
LLAMA_SERVER_BIN=""
LLAMA_MODEL="$HOME/.local/share/hermes-stack/models/qwen3-1.7b-compression/Qwen3-1.7B-Q4_K_M.gguf"
LLAMA_HF_REPO=""
LLAMA_MMPROJ=""
LLAMA_ALIAS="qwen3-1.7b-compression"
LLAMA_HOST="127.0.0.1"
LLAMA_PORT="8081"
LLAMA_PROFILE=""
LLAMA_ARGS=(
  --ctx-size 65536 --rope-scaling yarn --rope-scale 2 --yarn-orig-ctx 32768
  --parallel 1 --jinja --reasoning-budget 0 --no-reasoning-preserve
  --n-gpu-layers 0 --device none --no-op-offload --no-kv-offload
  --threads 8 --threads-batch 8 --flash-attn auto
  --cache-type-k q8_0 --cache-type-v q8_0 --no-ui
)
# 64K-Kontext ist die übernommene Workstation-Konfiguration mit YaRN.
# Die Binary meldet Kontext über dem Trainingslimit; Qualität bei langen
# Kompressionsaufgaben auf dem Zielmodell gesondert prüfen.