Align Hermes context window with local 64K model profiles
This commit is contained in:
1 parent
8544abd2d4
commit
0929cdb555
7 files changed
+91
-2
No files matched your search
@@ -20,6 +20,43 @@ Kompatibilitätsnamen für bestehende Sitzungen erreichbar. Sie bezeichnen dann
|
||||
ebenfalls das aktiv ausgewählte Modell; die tatsächliche Modelldatei zeigt
|
||||
`/props.model_path`. Neue Sitzungen und entbundene Cronjobs verwenden `hermes-local`.
|
||||
|
||||
## Kontextgröße und Kompression
|
||||
|
||||
Beide Hauptmodellprofile starten mit `--ctx-size 65536`. Hermes muss dieselbe
|
||||
Grenze kennen: `model.context_length: 65536` in `~/.hermes/config.yaml`.
|
||||
Der lokale Alias `hermes-local` wurde bei der Live-Prüfung vom 23.10.2026 nicht
|
||||
zuverlässig erkannt; Hermes meldete einen Fallback auf 256.000 Tokens.
|
||||
Die explizite Grenze verhindert eine zu große Annahme bei Kontextverwaltung und
|
||||
Platzplanung. Sie vergrößert weder das Modellfenster noch die GPU-Belegung.
|
||||
|
||||
`scripts/prepare-workstation.py --configure-hermes` setzt die Grenze bei der
|
||||
Einrichtung für Routine- und großes Profil. Bei einem späteren eigenen Profil
|
||||
mit anderer `--ctx-size` muss `model.context_length` entsprechend mitgeändert
|
||||
werden.
|
||||
|
||||
Die bestehende CPU-Kompression bleibt bei `threshold: 0.5` und
|
||||
`threshold_tokens: 24000`: Die absolute Obergrenze zieht die Kompression vor
|
||||
die rechnerische 50-Prozent-Schwelle von 32.768 Tokens. `target_ratio: 0.2`,
|
||||
Schutz der ersten drei und letzten zehn Nachrichten sowie die bestehenden
|
||||
Zeitbudgets bleiben erhalten. Die Schwelle ist ein Auslöser, keine harte
|
||||
Obergrenze für einzelne Nachrichten oder Werkzeugergebnisse.
|
||||
|
||||
Für eine bestehende Installation genügt nach Abschluss laufender Aufträge:
|
||||
|
||||
```bash
|
||||
cp -p ~/.hermes/config.yaml ~/.hermes/config.yaml.before-context-64k
|
||||
hermes config set model.context_length 65536
|
||||
hermes config get model.context_length
|
||||
systemctl --user restart hermes-gateway.service
|
||||
```
|
||||
|
||||
Den Sicherungsnamen bei wiederholter Ausführung ändern, damit die frühere
|
||||
Sicherung erhalten bleibt. Der Hauptmodell- und CPU-Kompressionsdienst brauchen
|
||||
für diese Hermes-Einstellung keinen Neustart. Neue Sitzungen verwenden die neue
|
||||
Grenze; bereits im Agentzustand gehaltene Kontextwerte sind kein verlässlicher
|
||||
Nachweis. Zur Abnahme eine neue Sitzung öffnen und die Modellantwort sowie das
|
||||
Gateway-Protokoll auf erneute Kontext-Fallback-Warnungen prüfen.
|
||||
|
||||
## Drei Schutzebenen
|
||||
|
||||
- Der Runner setzt `--n-predict 2048` als Serverstandard. Das ist kein harter
|
||||
|
||||
@@ -106,7 +106,9 @@ verzeichnis verschieben. Das gilt auch für `LLAMA_SERVER_BIN`.
|
||||
|
||||
`--configure-hermes` aktualisiert mit Backup die lokalen Provider-, Vision- und
|
||||
optional Kompressionseinstellungen, das 30-Minuten-Auftragsbudget und die
|
||||
600-Sekunden-/2048-Token-Limits. Fremde Provider, Terminal, Plugins und andere
|
||||
600-Sekunden-/2048-Token-Limits. Dabei setzt er `model.context_length: 65536`
|
||||
passend zu beiden Hauptmodellprofilen. Bei CPU-Kompression bleibt die
|
||||
Kompressionsschwelle auf 24.000 Tokens begrenzt. Fremde Provider, Terminal, Plugins und andere
|
||||
Einstellungen bleiben bestehen. `--unpin-local-cron` löst nur bekannte lokale
|
||||
Modellbindungen über die Hermes-CLI; eigene Cloud-Provider bleiben gebunden.
|
||||
Die Option legt keine Cronjobs an. Vorhandene Cronjobs kommen aus dem privaten
|
||||
|
||||
@@ -1,3 +1,25 @@
|
||||
# Validierung vom 2026-10-23 — Kontextabgleich
|
||||
|
||||
- `make test`: Syntax-/Secret-Musterprüfung und **52 Funktionstests bestanden**
|
||||
(26 llama-, zehn Watchdog-, elf Workstation- und fünf Updater-Tests).
|
||||
ShellCheck fehlt lokal und wurde nicht ausgeführt.
|
||||
- Regression prüft Ersatz eines veralteten 256.000-Token-Werts, Abgleich mit
|
||||
beiden 65.536-Token-Hauptmodellprofilen, Erhalt der 24.000-Token-
|
||||
Kompressionsschwelle und unveränderten zweiten Konfigurationslauf.
|
||||
- `git diff --check`: erfolgreich.
|
||||
- Auf Archwork ausschließlich `model.context_length: 65536` ergänzt;
|
||||
semantischer YAML-Vergleich bestätigt, dass keine andere Einstellung geändert
|
||||
wurde. Private Sicherung unter
|
||||
`~/.local/state/hermes-stack-maintenance/context-64k-20261023-144440/config.yaml`.
|
||||
- Gateway kontrolliert neu gestartet; Hauptmodell und CPU-Kompression ohne
|
||||
Neustart. `hermes config get model.context_length` liefert `65536`.
|
||||
- Neue lokale Hermes-Sitzung über den Gateway antwortet korrekt mit
|
||||
`HERMES_OK 323`. Seit der Aktivierung keine erneute Kontext-Fallback-Warnung
|
||||
im Hermes-Fehlerprotokoll. Bestehende Plugin-/Docker-Warnungen bleiben sichtbar.
|
||||
- Kein langer 64K-Dialog, keine erzwungene Kompression und kein Test des großen
|
||||
Modells für diese Änderung; der Live-Nachweis gilt für die neue kurze Sitzung
|
||||
mit dem aktiven Routineprofil.
|
||||
|
||||
# Validierung vom 2026-10-21
|
||||
|
||||
- `make test`: Syntax- und Secret-Musterprüfung sowie **31 Funktionstests
|
||||
|
||||
Reference in new issue
Block a user