Preserve desktop VRAM reserve and portable CPU compression setup

This commit is contained in:
admin committed 2026-10-12 12:36:11 +02:00
1 parent e8512b56f5
commit eb456b37ea
15 files changed
+255 -25

No files matched your search

+20
View File
@@ -0,0 +1,20 @@
# Optionaler CPU-Kompressionsserver. Modellgewichte separat bereitstellen.
# Gleiche Binary-Auswahl wie beim Hauptmodell; bei Bedarf explizit setzen.
LLAMA_SERVER_BIN=""
LLAMA_MODEL="$HOME/.local/share/hermes-stack/models/qwen3-1.7b-compression/Qwen3-1.7B-Q4_K_M.gguf"
LLAMA_HF_REPO=""
LLAMA_MMPROJ=""
LLAMA_ALIAS="qwen3-1.7b-compression"
LLAMA_HOST="127.0.0.1"
LLAMA_PORT="8081"
LLAMA_PROFILE=""
LLAMA_ARGS=(
--ctx-size 65536 --rope-scaling yarn --rope-scale 2 --yarn-orig-ctx 32768
--parallel 1 --jinja --reasoning-budget 0 --no-reasoning-preserve
--n-gpu-layers 0 --device none --no-op-offload --no-kv-offload
--threads 8 --threads-batch 8 --flash-attn auto
--cache-type-k q8_0 --cache-type-v q8_0 --no-ui
)
# 64K-Kontext ist die übernommene Workstation-Konfiguration mit YaRN.
# Die Binary meldet Kontext über dem Trainingslimit; Qualität bei langen
# Kompressionsaufgaben auf dem Zielmodell gesondert prüfen.