18 lines
694 B
Bash
18 lines
694 B
Bash
# Bash-Konfiguration für hermes-stack-llama-run
|
|
# Leer: zuerst den verwalteten CUDA-Build, dann llama-server aus PATH verwenden.
|
|
# Auf deiner bestehenden Workstation explizit /usr/bin/llama-server eintragen.
|
|
LLAMA_SERVER_BIN=""
|
|
LLAMA_MODEL=""
|
|
LLAMA_HF_REPO="ggml-org/Qwen3.8-27B-GGUF:Q4_K_M"
|
|
LLAMA_ALIAS="qwen38-27b-local"
|
|
LLAMA_MMPROJ=""
|
|
LLAMA_HOST="127.0.0.1"
|
|
LLAMA_PORT="8080"
|
|
|
|
# Erster Start unverändert mit 64K / 1536 MiB Fit-Zielmarge.
|
|
# Anschließend erst balanced, danach ggf. vram-plus vergleichen.
|
|
LLAMA_PROFILE="baseline"
|
|
LLAMA_ARGS=()
|
|
# HF lädt beim ersten echten Start herunter. Für offline/reproduzierbar:
|
|
# LLAMA_MODEL und optional LLAMA_MMPROJ setzen; LLAMA_HF_REPO leeren.
|