Preserve desktop VRAM reserve and portable CPU compression setup
This commit is contained in:
1 parent
e8512b56f5
commit
eb456b37ea
15 files changed
+255
-25
No files matched your search
@@ -0,0 +1,20 @@
|
||||
# Optionaler CPU-Kompressionsserver. Modellgewichte separat bereitstellen.
|
||||
# Gleiche Binary-Auswahl wie beim Hauptmodell; bei Bedarf explizit setzen.
|
||||
LLAMA_SERVER_BIN=""
|
||||
LLAMA_MODEL="$HOME/.local/share/hermes-stack/models/qwen3-1.7b-compression/Qwen3-1.7B-Q4_K_M.gguf"
|
||||
LLAMA_HF_REPO=""
|
||||
LLAMA_MMPROJ=""
|
||||
LLAMA_ALIAS="qwen3-1.7b-compression"
|
||||
LLAMA_HOST="127.0.0.1"
|
||||
LLAMA_PORT="8081"
|
||||
LLAMA_PROFILE=""
|
||||
LLAMA_ARGS=(
|
||||
--ctx-size 65536 --rope-scaling yarn --rope-scale 2 --yarn-orig-ctx 32768
|
||||
--parallel 1 --jinja --reasoning-budget 0 --no-reasoning-preserve
|
||||
--n-gpu-layers 0 --device none --no-op-offload --no-kv-offload
|
||||
--threads 8 --threads-batch 8 --flash-attn auto
|
||||
--cache-type-k q8_0 --cache-type-v q8_0 --no-ui
|
||||
)
|
||||
# 64K-Kontext ist die übernommene Workstation-Konfiguration mit YaRN.
|
||||
# Die Binary meldet Kontext über dem Trainingslimit; Qualität bei langen
|
||||
# Kompressionsaufgaben auf dem Zielmodell gesondert prüfen.
|
||||
@@ -9,5 +9,5 @@ LLAMA_HF_REPO=""
|
||||
LLAMA_ALIAS="qwen38-27b-local"
|
||||
LLAMA_HOST="127.0.0.1"
|
||||
LLAMA_PORT="8080"
|
||||
LLAMA_PROFILE="baseline"
|
||||
LLAMA_PROFILE="desktop-64k"
|
||||
LLAMA_ARGS=()
|
||||
@@ -9,9 +9,9 @@ LLAMA_MMPROJ=""
|
||||
LLAMA_HOST="127.0.0.1"
|
||||
LLAMA_PORT="8080"
|
||||
|
||||
# Erster Start unverändert mit 64K / 1536 MiB Fit-Zielmarge.
|
||||
# baseline bleibt Standard; vram-64k ist ein optionales Testprofil.
|
||||
LLAMA_PROFILE="baseline"
|
||||
# Standard für eine gemeinsam mit dem Desktop genutzte GPU: 64K / 4096 MiB.
|
||||
# Fit ist ein Planungsziel; die freie Reserve auf der Zielmaschine messen.
|
||||
LLAMA_PROFILE="desktop-64k"
|
||||
LLAMA_ARGS=()
|
||||
# HF lädt beim ersten echten Start herunter. Für offline/reproduzierbar:
|
||||
# LLAMA_MODEL und optional LLAMA_MMPROJ setzen; LLAMA_HF_REPO leeren.
|
||||
Reference in new issue
Block a user