Preserve desktop VRAM reserve and portable CPU compression setup

This commit is contained in:
admin committed 2026-10-12 12:36:11 +02:00
1 parent e8512b56f5
commit eb456b37ea
15 files changed
+255 -25

No files matched your search

+20
View File
@@ -0,0 +1,20 @@
# Optionaler CPU-Kompressionsserver. Modellgewichte separat bereitstellen.
# Gleiche Binary-Auswahl wie beim Hauptmodell; bei Bedarf explizit setzen.
LLAMA_SERVER_BIN=""
LLAMA_MODEL="$HOME/.local/share/hermes-stack/models/qwen3-1.7b-compression/Qwen3-1.7B-Q4_K_M.gguf"
LLAMA_HF_REPO=""
LLAMA_MMPROJ=""
LLAMA_ALIAS="qwen3-1.7b-compression"
LLAMA_HOST="127.0.0.1"
LLAMA_PORT="8081"
LLAMA_PROFILE=""
LLAMA_ARGS=(
--ctx-size 65536 --rope-scaling yarn --rope-scale 2 --yarn-orig-ctx 32768
--parallel 1 --jinja --reasoning-budget 0 --no-reasoning-preserve
--n-gpu-layers 0 --device none --no-op-offload --no-kv-offload
--threads 8 --threads-batch 8 --flash-attn auto
--cache-type-k q8_0 --cache-type-v q8_0 --no-ui
)
# 64K-Kontext ist die übernommene Workstation-Konfiguration mit YaRN.
# Die Binary meldet Kontext über dem Trainingslimit; Qualität bei langen
# Kompressionsaufgaben auf dem Zielmodell gesondert prüfen.
+1 -1
View File
@@ -9,5 +9,5 @@ LLAMA_HF_REPO=""
LLAMA_ALIAS="qwen38-27b-local"
LLAMA_HOST="127.0.0.1"
LLAMA_PORT="8080"
LLAMA_PROFILE="baseline"
LLAMA_PROFILE="desktop-64k"
LLAMA_ARGS=()
+3 -3
View File
@@ -9,9 +9,9 @@ LLAMA_MMPROJ=""
LLAMA_HOST="127.0.0.1"
LLAMA_PORT="8080"
# Erster Start unverändert mit 64K / 1536 MiB Fit-Zielmarge.
# baseline bleibt Standard; vram-64k ist ein optionales Testprofil.
LLAMA_PROFILE="baseline"
# Standard für eine gemeinsam mit dem Desktop genutzte GPU: 64K / 4096 MiB.
# Fit ist ein Planungsziel; die freie Reserve auf der Zielmaschine messen.
LLAMA_PROFILE="desktop-64k"
LLAMA_ARGS=()
# HF lädt beim ersten echten Start herunter. Für offline/reproduzierbar:
# LLAMA_MODEL und optional LLAMA_MMPROJ setzen; LLAMA_HF_REPO leeren.