Align Hermes context window with local 64K model profiles
This commit is contained in:
1 parent
8544abd2d4
commit
0929cdb555
7 files changed
+91
-2
No files matched your search
@@ -20,6 +20,43 @@ Kompatibilitätsnamen für bestehende Sitzungen erreichbar. Sie bezeichnen dann
|
||||
ebenfalls das aktiv ausgewählte Modell; die tatsächliche Modelldatei zeigt
|
||||
`/props.model_path`. Neue Sitzungen und entbundene Cronjobs verwenden `hermes-local`.
|
||||
|
||||
## Kontextgröße und Kompression
|
||||
|
||||
Beide Hauptmodellprofile starten mit `--ctx-size 65536`. Hermes muss dieselbe
|
||||
Grenze kennen: `model.context_length: 65536` in `~/.hermes/config.yaml`.
|
||||
Der lokale Alias `hermes-local` wurde bei der Live-Prüfung vom 23.10.2026 nicht
|
||||
zuverlässig erkannt; Hermes meldete einen Fallback auf 256.000 Tokens.
|
||||
Die explizite Grenze verhindert eine zu große Annahme bei Kontextverwaltung und
|
||||
Platzplanung. Sie vergrößert weder das Modellfenster noch die GPU-Belegung.
|
||||
|
||||
`scripts/prepare-workstation.py --configure-hermes` setzt die Grenze bei der
|
||||
Einrichtung für Routine- und großes Profil. Bei einem späteren eigenen Profil
|
||||
mit anderer `--ctx-size` muss `model.context_length` entsprechend mitgeändert
|
||||
werden.
|
||||
|
||||
Die bestehende CPU-Kompression bleibt bei `threshold: 0.5` und
|
||||
`threshold_tokens: 24000`: Die absolute Obergrenze zieht die Kompression vor
|
||||
die rechnerische 50-Prozent-Schwelle von 32.768 Tokens. `target_ratio: 0.2`,
|
||||
Schutz der ersten drei und letzten zehn Nachrichten sowie die bestehenden
|
||||
Zeitbudgets bleiben erhalten. Die Schwelle ist ein Auslöser, keine harte
|
||||
Obergrenze für einzelne Nachrichten oder Werkzeugergebnisse.
|
||||
|
||||
Für eine bestehende Installation genügt nach Abschluss laufender Aufträge:
|
||||
|
||||
```bash
|
||||
cp -p ~/.hermes/config.yaml ~/.hermes/config.yaml.before-context-64k
|
||||
hermes config set model.context_length 65536
|
||||
hermes config get model.context_length
|
||||
systemctl --user restart hermes-gateway.service
|
||||
```
|
||||
|
||||
Den Sicherungsnamen bei wiederholter Ausführung ändern, damit die frühere
|
||||
Sicherung erhalten bleibt. Der Hauptmodell- und CPU-Kompressionsdienst brauchen
|
||||
für diese Hermes-Einstellung keinen Neustart. Neue Sitzungen verwenden die neue
|
||||
Grenze; bereits im Agentzustand gehaltene Kontextwerte sind kein verlässlicher
|
||||
Nachweis. Zur Abnahme eine neue Sitzung öffnen und die Modellantwort sowie das
|
||||
Gateway-Protokoll auf erneute Kontext-Fallback-Warnungen prüfen.
|
||||
|
||||
## Drei Schutzebenen
|
||||
|
||||
- Der Runner setzt `--n-predict 2048` als Serverstandard. Das ist kein harter
|
||||
|
||||
Reference in new issue
Block a user