19 lines
750 B
Bash
19 lines
750 B
Bash
# Bash-Konfiguration für hermes-stack-llama-run
|
|
# Leer: zuerst den verwalteten CUDA-Build, dann llama-server aus PATH verwenden.
|
|
# Auf deiner bestehenden Workstation explizit /usr/bin/llama-server eintragen.
|
|
LLAMA_SERVER_BIN=""
|
|
LLAMA_MODEL=""
|
|
LLAMA_HF_REPO="ggml-org/Qwen3.8-27B-GGUF:Q4_K_M"
|
|
LLAMA_ALIAS="qwen38-27b-local"
|
|
LLAMA_MMPROJ=""
|
|
LLAMA_HOST="127.0.0.1"
|
|
LLAMA_PORT="8080"
|
|
LLAMA_MAX_OUTPUT_TOKENS=2048
|
|
|
|
# Standard für eine gemeinsam mit dem Desktop genutzte GPU: 64K / 4096 MiB.
|
|
# Fit ist ein Planungsziel; die freie Reserve auf der Zielmaschine messen.
|
|
LLAMA_PROFILE="desktop-64k"
|
|
LLAMA_ARGS=()
|
|
# HF lädt beim ersten echten Start herunter. Für offline/reproduzierbar:
|
|
# LLAMA_MODEL und optional LLAMA_MMPROJ setzen; LLAMA_HF_REPO leeren.
|