Initial commit
This commit is contained in:
commit
8641464a6c
44 files changed
+2192
No files matched your search
@@ -0,0 +1,17 @@
|
||||
# Bash-Konfiguration für hermes-stack-llama-run
|
||||
# Leer: zuerst den verwalteten CUDA-Build, dann llama-server aus PATH verwenden.
|
||||
# Auf deiner bestehenden Workstation explizit /usr/bin/llama-server eintragen.
|
||||
LLAMA_SERVER_BIN=""
|
||||
LLAMA_MODEL=""
|
||||
LLAMA_HF_REPO="ggml-org/Qwen3.8-27B-GGUF:Q4_K_M"
|
||||
LLAMA_ALIAS="qwen38-27b-local"
|
||||
LLAMA_MMPROJ=""
|
||||
LLAMA_HOST="127.0.0.1"
|
||||
LLAMA_PORT="8080"
|
||||
|
||||
# Erster Start unverändert mit 64K / 1536 MiB Fit-Zielmarge.
|
||||
# Anschließend erst balanced, danach ggf. vram-plus vergleichen.
|
||||
LLAMA_PROFILE="baseline"
|
||||
LLAMA_ARGS=()
|
||||
# HF lädt beim ersten echten Start herunter. Für offline/reproduzierbar:
|
||||
# LLAMA_MODEL und optional LLAMA_MMPROJ setzen; LLAMA_HF_REPO leeren.
|
||||
Reference in new issue
Block a user