Preserve desktop VRAM reserve and portable CPU compression setup

This commit is contained in:
admin committed 2026-10-12 12:36:11 +02:00
1 parent e8512b56f5
commit eb456b37ea
15 files changed
+255 -25

No files matched your search

+15 -6
View File
@@ -5,6 +5,7 @@ Reproduzierbares Benutzer-Deployment für Hermes Agent auf Arch Linux mit:
- offizieller Hermes-Git-Installation unter `~/.hermes/hermes-agent`
- von Hermes erzeugtem systemd-User-Service für den Messaging Gateway
- optionalem lokalen llama.cpp/OpenAI-kompatiblen Modellendpunkt
- optionalem CPU-Kompressionsserver für Hermes
- optionalem signal-cli HTTP-Daemon
- robustem Hermes-Update mit Vorprüfung, Retry, Backup und Rollback
- regelmäßigen Healthchecks und Selbstheilungsversuchen
@@ -13,7 +14,7 @@ Reproduzierbares Benutzer-Deployment für Hermes Agent auf Arch Linux mit:
- optionalem CUDA-Build von llama-server, llama-cli und llama-bench
- Qwen-/RTX-3080-Profilen mit prüfbarem Wechsel und Rückweg
Stand: 2026-09-05. Für deine **bestehende Workstation** zuerst
Stand: 2026-10-12. Für deine **bestehende Workstation** zuerst
[`docs/WORKSTATION.md`](docs/WORKSTATION.md) lesen. Der Schnellstart unten ist für
eine neue Maschine. Hardware-Leistungsgewinne sind noch nicht auf deiner GPU
gemessen. Es wird kein Gitea-Server angelegt und nichts automatisch gepusht.
@@ -43,6 +44,8 @@ Danach die beim ersten Lauf erzeugten lokalen Konfigurationen bearbeiten:
```bash
$EDITOR ~/.config/hermes-stack-maintenance/config.env
$EDITOR ~/.config/hermes-stack-maintenance/llama.env
# Bei Nutzung der lokalen Kompression:
$EDITOR ~/.config/hermes-stack-maintenance/compression.env
$EDITOR ~/.config/hermes-stack-maintenance/signal-cli.env
$EDITOR ~/.hermes/.env
```
@@ -123,11 +126,17 @@ Start des llama-Dienstes geladen, nicht bei der Konfigurationsprüfung.
~/.local/libexec/hermes-stack-llama-report
```
`baseline` behält deine bisherigen 64K Kontext / 1536 MiB Fit-Zielmarge.
`balanced` reduziert nur den Kontext auf 48K; `vram-plus` danach optional die
Marge auf 1280 MiB. `compact` bietet 32K bei 1536 MiB. Das sind Vergleichsprofile,
keine Garantie gegen Desktop-Speicherdruck. Details, Messprotokoll und Rücknahme:
[`docs/RTX3080.md`](docs/RTX3080.md).
Für neue Konfigurationen ist `desktop-64k` der Standard: 64K Kontext,
4096 MiB Fit-Zielmarge, Reasoning-Budget 128 ohne Reasoning-Preserve.
Das priorisiert Spielraum für Browser und Desktop auf einer gemeinsam genutzten
GPU. Die früheren Profile bleiben für bewusste Vergleiche verfügbar.
Bestehende Konfigurationen werden nicht umgestellt. Bei expliziten `LLAMA_ARGS`
und leerem `LLAMA_PROFILE` wirken die Profile nicht.
Der optionale Dienst `llama-compression.service` verwendet eine eigene
`compression.env`, Port 8081 und CPU-Ausführung einschließlich KV-/Op-Offload.
Für beide Server werden Modellgewichte separat bereitgestellt. Einrichtung,
Messgrenzen und Migration: [`docs/RTX3080.md`](docs/RTX3080.md).
Profilwechsel ändern zunächst nur eine separate Auswahl-Datei. Ein Neustart
benötigt `hermes-stack-llama-restart --jobs-finished`. Der Healthcheck teilt das