Make local inference limits and workstation setup reproducible
This commit is contained in:
1 parent
7006991843
commit
8544abd2d4
28 files changed
+1022
-21
No files matched your search
@@ -14,11 +14,14 @@ Reproduzierbares Benutzer-Deployment für Hermes Agent auf Arch Linux mit:
|
||||
- optionalem CUDA-Build von llama-server, llama-cli und llama-bench
|
||||
- Qwen-/RTX-3080-Profilen mit prüfbarem Wechsel und Rückweg
|
||||
|
||||
Stand: 2026-10-21. Für deine **bestehende Workstation** zuerst
|
||||
Stand: 2026-10-23. Die Anleitung für das **aktuelle Setup auf einem neuen Rechner**
|
||||
steht in [NEW_WORKSTATION.md](docs/NEW_WORKSTATION.md): feste Modellrevisionen und
|
||||
Prüfsummen, Vorbereitung der Profile und Hermes-Limits, Aktivierung und Rückweg.
|
||||
Für deine **bestehende Workstation** zuerst
|
||||
[`docs/WORKSTATION.md`](docs/WORKSTATION.md) lesen. Der Schnellstart unten ist für
|
||||
eine neue Maschine. Hardware-Leistungsgewinne sind noch nicht auf deiner GPU
|
||||
gemessen; die kurze Funktions- und VRAM-Abnahme vom 12.10.2026 ist in
|
||||
[RTX3080.md](docs/RTX3080.md) dokumentiert. Der Installer richtet keinen
|
||||
eine neue Maschine. Das Routineprofil nutzt Qwen3.5-4B; der kurze lokale Texttest
|
||||
vom 23.10.2026 erreichte rund 130–136 Tokens/s. Das 27B-Modell bleibt optional.
|
||||
Frühere VRAM-Messungen stehen in [RTX3080.md](docs/RTX3080.md). Der Installer richtet keinen
|
||||
Gitea-Server ein und pusht keine Änderungen.
|
||||
|
||||
Das Repository enthält **keine Zugangsdaten, Signal-Sitzung oder
|
||||
@@ -61,7 +64,9 @@ hermes gateway install --force
|
||||
```
|
||||
|
||||
In Hermes als lokalen OpenAI-kompatiblen Endpunkt `http://127.0.0.1:8080/v1`
|
||||
und als Modell-ID `qwen38-27b-local` wählen. Bestehende Hermes-Konfigurationen,
|
||||
und als Modell-ID `hermes-local` wählen, wenn die aktuellen Routine-/Large-Profile
|
||||
nach [NEW_WORKSTATION.md](docs/NEW_WORKSTATION.md) vorbereitet wurden. Der ältere
|
||||
HF-Schnellstart verwendet weiterhin `qwen38-27b-local`. Bestehende Hermes-Konfigurationen,
|
||||
Profile, Skills und Memories werden nicht durch generische Vorgaben ersetzt.
|
||||
Für Neuinstallationen diese Einstellungen interaktiv vornehmen oder die eigenen
|
||||
Daten gemäß Migration sicher übernehmen. Der Alias allein setzt kein Kontextlimit.
|
||||
@@ -83,6 +88,7 @@ Maintenance aktivieren:
|
||||
systemctl --user enable --now \
|
||||
hermes-stack-hermes-update.timer \
|
||||
hermes-stack-health.timer \
|
||||
hermes-stack-llama-watchdog.timer \
|
||||
hermes-stack-signal-health.timer \
|
||||
hermes-stack-signal-update-check.timer
|
||||
```
|
||||
@@ -116,12 +122,25 @@ Abschließend:
|
||||
Ohne Optionen installiert das Skript nur die versionierten Dateien und legt
|
||||
fehlende Beispielkonfigurationen an. Bestehende lokale Konfigurationen werden
|
||||
nicht überschrieben.
|
||||
`hermes-stack-model` wird über `~/.local/bin` ohne Pfadangabe aufrufbar. Der
|
||||
separate Helfer `scripts/prepare-workstation.py` stellt auf Wunsch die fixierten
|
||||
Modelldateien bereit und übernimmt gezielt die aktuellen Hermes-Einstellungen.
|
||||
Ersetzte Wrapper und Units werden vorher gesichert. Eine vorhandene
|
||||
hermes-gateway.service wird nicht neu erzeugt. Ein Modell wird erst beim echten
|
||||
Start des llama-Dienstes geladen, nicht bei der Konfigurationsprüfung.
|
||||
|
||||
## RTX 3080 und Qwen
|
||||
|
||||
Die aktuellen Schutzmaßnahmen gegen endlose Modellantworten und die explizite
|
||||
Umschaltung zwischen Routine- und großem Modell stehen in
|
||||
[INFERENCE_LIMITS.md](docs/INFERENCE_LIMITS.md).
|
||||
|
||||
```bash
|
||||
hermes-stack-model status
|
||||
hermes-stack-model routine
|
||||
hermes-stack-model large
|
||||
```
|
||||
|
||||
```bash
|
||||
~/.local/libexec/hermes-stack-llama-run --check
|
||||
~/.local/libexec/hermes-stack-llama-profile list
|
||||
|
||||
Reference in new issue
Block a user