Preserve desktop VRAM reserve and portable CPU compression setup
This commit is contained in:
1 parent
e8512b56f5
commit
eb456b37ea
15 files changed
+255
-25
No files matched your search
@@ -5,6 +5,7 @@ Reproduzierbares Benutzer-Deployment für Hermes Agent auf Arch Linux mit:
|
||||
- offizieller Hermes-Git-Installation unter `~/.hermes/hermes-agent`
|
||||
- von Hermes erzeugtem systemd-User-Service für den Messaging Gateway
|
||||
- optionalem lokalen llama.cpp/OpenAI-kompatiblen Modellendpunkt
|
||||
- optionalem CPU-Kompressionsserver für Hermes
|
||||
- optionalem signal-cli HTTP-Daemon
|
||||
- robustem Hermes-Update mit Vorprüfung, Retry, Backup und Rollback
|
||||
- regelmäßigen Healthchecks und Selbstheilungsversuchen
|
||||
@@ -13,7 +14,7 @@ Reproduzierbares Benutzer-Deployment für Hermes Agent auf Arch Linux mit:
|
||||
- optionalem CUDA-Build von llama-server, llama-cli und llama-bench
|
||||
- Qwen-/RTX-3080-Profilen mit prüfbarem Wechsel und Rückweg
|
||||
|
||||
Stand: 2026-09-05. Für deine **bestehende Workstation** zuerst
|
||||
Stand: 2026-10-12. Für deine **bestehende Workstation** zuerst
|
||||
[`docs/WORKSTATION.md`](docs/WORKSTATION.md) lesen. Der Schnellstart unten ist für
|
||||
eine neue Maschine. Hardware-Leistungsgewinne sind noch nicht auf deiner GPU
|
||||
gemessen. Es wird kein Gitea-Server angelegt und nichts automatisch gepusht.
|
||||
@@ -43,6 +44,8 @@ Danach die beim ersten Lauf erzeugten lokalen Konfigurationen bearbeiten:
|
||||
```bash
|
||||
$EDITOR ~/.config/hermes-stack-maintenance/config.env
|
||||
$EDITOR ~/.config/hermes-stack-maintenance/llama.env
|
||||
# Bei Nutzung der lokalen Kompression:
|
||||
$EDITOR ~/.config/hermes-stack-maintenance/compression.env
|
||||
$EDITOR ~/.config/hermes-stack-maintenance/signal-cli.env
|
||||
$EDITOR ~/.hermes/.env
|
||||
```
|
||||
@@ -123,11 +126,17 @@ Start des llama-Dienstes geladen, nicht bei der Konfigurationsprüfung.
|
||||
~/.local/libexec/hermes-stack-llama-report
|
||||
```
|
||||
|
||||
`baseline` behält deine bisherigen 64K Kontext / 1536 MiB Fit-Zielmarge.
|
||||
`balanced` reduziert nur den Kontext auf 48K; `vram-plus` danach optional die
|
||||
Marge auf 1280 MiB. `compact` bietet 32K bei 1536 MiB. Das sind Vergleichsprofile,
|
||||
keine Garantie gegen Desktop-Speicherdruck. Details, Messprotokoll und Rücknahme:
|
||||
[`docs/RTX3080.md`](docs/RTX3080.md).
|
||||
Für neue Konfigurationen ist `desktop-64k` der Standard: 64K Kontext,
|
||||
4096 MiB Fit-Zielmarge, Reasoning-Budget 128 ohne Reasoning-Preserve.
|
||||
Das priorisiert Spielraum für Browser und Desktop auf einer gemeinsam genutzten
|
||||
GPU. Die früheren Profile bleiben für bewusste Vergleiche verfügbar.
|
||||
Bestehende Konfigurationen werden nicht umgestellt. Bei expliziten `LLAMA_ARGS`
|
||||
und leerem `LLAMA_PROFILE` wirken die Profile nicht.
|
||||
|
||||
Der optionale Dienst `llama-compression.service` verwendet eine eigene
|
||||
`compression.env`, Port 8081 und CPU-Ausführung einschließlich KV-/Op-Offload.
|
||||
Für beide Server werden Modellgewichte separat bereitgestellt. Einrichtung,
|
||||
Messgrenzen und Migration: [`docs/RTX3080.md`](docs/RTX3080.md).
|
||||
|
||||
Profilwechsel ändern zunächst nur eine separate Auswahl-Datei. Ein Neustart
|
||||
benötigt `hermes-stack-llama-restart --jobs-finished`. Der Healthcheck teilt das
|
||||
|
||||
Reference in new issue
Block a user