# Bash-Konfiguration für hermes-stack-llama-run
# Leer: zuerst den verwalteten CUDA-Build, dann llama-server aus PATH verwenden.
# Auf deiner bestehenden Workstation explizit /usr/bin/llama-server eintragen.
LLAMA_SERVER_BIN=""
LLAMA_MODEL=""
LLAMA_HF_REPO="ggml-org/Qwen3.8-27B-GGUF:Q4_K_M"
LLAMA_ALIAS="qwen38-27b-local"
LLAMA_MMPROJ=""
LLAMA_HOST="127.0.0.1"
LLAMA_PORT="8080"

# Standard für eine gemeinsam mit dem Desktop genutzte GPU: 64K / 4096 MiB.
# Fit ist ein Planungsziel; die freie Reserve auf der Zielmaschine messen.
LLAMA_PROFILE="desktop-64k"
LLAMA_ARGS=()
# HF lädt beim ersten echten Start herunter. Für offline/reproduzierbar:
# LLAMA_MODEL und optional LLAMA_MMPROJ setzen; LLAMA_HF_REPO leeren.