14 lines
579 B
Bash
14 lines
579 B
Bash
# Alternative zur HF-Bootstrap-Vorlage; erst nach Bereitstellung beider Dateien.
|
|
# Bestehende llama.env nur gezielt bearbeiten, nicht ungeprüft überschreiben.
|
|
LLAMA_SERVER_BIN=""
|
|
LLAMA_MODEL_REVISION="0669b98607d47046c7c2b3f801011d54a08cfccf"
|
|
LLAMA_MODEL_DIR="$HOME/.local/share/hermes-stack/models/qwen38-27b/$LLAMA_MODEL_REVISION"
|
|
LLAMA_MODEL="$LLAMA_MODEL_DIR/Qwen3.8-27B-Q4_K_M.gguf"
|
|
LLAMA_MMPROJ="$LLAMA_MODEL_DIR/mmproj-Qwen3.8-27B-Q8_0.gguf"
|
|
LLAMA_HF_REPO=""
|
|
LLAMA_ALIAS="qwen38-27b-local"
|
|
LLAMA_HOST="127.0.0.1"
|
|
LLAMA_PORT="8080"
|
|
LLAMA_PROFILE="baseline"
|
|
LLAMA_ARGS=()
|