Trial GPU-resident Qwen3.5-9B with verified 4B rollback

docs/INFERENCE_LIMITS.md

@@ -1,12 +1,12 @@
 # Lokale Inferenz begrenzen
 
 Die Workstation verwendet `hermes-local` als stabilen API-Modellnamen. Das
-Routineprofil lädt Qwen3.5-4B Q4_K_M (Unsloth-Revision
-`e87f176479d0855a907a41277aca2f8ee7a09523`), das große Profil weiterhin das
+Routineprofil lädt Qwen3.5-9B IQ4_XS (Unsloth-Revision
+`3885219b6810b007914f3a7950a8d1b469d598a5`), das große Profil weiterhin das
 vorhandene Qwen3.8-27B. Die tatsächliche Auswahl steht in
 `~/.config/hermes-stack-maintenance/llama.env`.
 
-`hermes-stack-model routine` bzw. `hermes-stack-model large` schaltet explizit um
+`hermes-stack-model routine`, `fallback` bzw. `large` schaltet explizit um
 und beendet dabei laufende Gateway-Anfragen. Beide Dateien bleiben erhalten.
 Es wird nur ein Hauptmodell gleichzeitig geladen. Die lokalen profilspezifischen
 Konfigurationen `llama-routine.env` und `llama-large.env` enthalten absolute
@@ -22,21 +22,16 @@ ebenfalls das aktiv ausgewählte Modell; die tatsächliche Modelldatei zeigt
 
 ## Kontextgröße und Kompression
 
-Beide Hauptmodellprofile starten mit `--ctx-size 65536`. Hermes muss dieselbe
-Grenze kennen: `model.context_length: 65536` in `~/.hermes/config.yaml`.
-Der lokale Alias `hermes-local` wurde bei der Live-Prüfung vom 23.10.2026 nicht
-zuverlässig erkannt; Hermes meldete einen Fallback auf 256.000 Tokens.
-Die explizite Grenze verhindert eine zu große Annahme bei Kontextverwaltung und
-Platzplanung. Sie vergrößert weder das Modellfenster noch die GPU-Belegung.
+Das Routineprofil verwendet `--ctx-size 65536`, das bisherige 4B-Profil
+(`fallback`) und das große Profil jeweils 65536. Der Modellschalter setzt
+`model.context_length` und `compression.threshold_tokens` zusammen mit dem
+Modell: 65536/24000 für alle drei Profile. Er sichert
+beide Konfigurationen und stellt bei einem Wechsel-Fehler beide wieder her.
+Legacy-Profile ohne `LLAMA_CONTEXT_TOKENS` werden als 64K behandelt; eigene
+Profile müssen diese Metadaten passend zu `--ctx-size` setzen.
 
-`scripts/prepare-workstation.py --configure-hermes` setzt die Grenze bei der
-Einrichtung für Routine- und großes Profil. Bei einem späteren eigenen Profil
-mit anderer `--ctx-size` muss `model.context_length` entsprechend mitgeändert
-werden.
-
-Die bestehende CPU-Kompression bleibt bei `threshold: 0.5` und
-`threshold_tokens: 24000`: Die absolute Obergrenze zieht die Kompression vor
-die rechnerische 50-Prozent-Schwelle von 32.768 Tokens. `target_ratio: 0.2`,
+Die CPU-Kompression bleibt bei `threshold: 0.5` und der absoluten Schwelle
+von 24.000 Tokens. `target_ratio: 0.2`,
 Schutz der ersten drei und letzten zehn Nachrichten sowie die bestehenden
 Zeitbudgets bleiben erhalten. Die Schwelle ist ein Auslöser, keine harte
 Obergrenze für einzelne Nachrichten oder Werkzeugergebnisse.
@@ -44,18 +39,13 @@ Obergrenze für einzelne Nachrichten oder Werkzeugergebnisse.
 Für eine bestehende Installation genügt nach Abschluss laufender Aufträge:
 
 ```bash
-cp -p ~/.hermes/config.yaml ~/.hermes/config.yaml.before-context-64k
-hermes config set model.context_length 65536
-hermes config get model.context_length
-systemctl --user restart hermes-gateway.service
+hermes-stack-model routine   # 9B, 64K
+hermes-stack-model fallback  # 4B, 64K inklusive Kompressionsschwelle
 ```
 
-Den Sicherungsnamen bei wiederholter Ausführung ändern, damit die frühere
-Sicherung erhalten bleibt. Der Hauptmodell- und CPU-Kompressionsdienst brauchen
-für diese Hermes-Einstellung keinen Neustart. Neue Sitzungen verwenden die neue
-Grenze; bereits im Agentzustand gehaltene Kontextwerte sind kein verlässlicher
-Nachweis. Zur Abnahme eine neue Sitzung öffnen und die Modellantwort sowie das
-Gateway-Protokoll auf erneute Kontext-Fallback-Warnungen prüfen.
+Der Modellschalter startet Hauptmodell und Gateway kontrolliert neu. Bereits
+laufende Anfragen werden beendet; CPU-Kompression läuft unverändert weiter.
+Die aktuellen Messungen und der Rückweg stehen in [QWEN9B_TRIAL.md](QWEN9B_TRIAL.md).
 
 ## Drei Schutzebenen
 
@@ -99,5 +89,5 @@ sowie Gateway neu starten. Cronjob-Modellbindungen sind über `hermes cron edit
 JOB_ID --model MODELL --provider custom` wiederherstellbar.
 
 Quellen: [llama.cpp Serverparameter](https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md),
-[Qwen3.5-4B](https://huggingface.co/Qwen/Qwen3.5-4B),
-[verwendete GGUF-Dateien](https://huggingface.co/unsloth/Qwen3.5-4B-GGUF/tree/e87f176479d0855a907a41277aca2f8ee7a09523).
+[Qwen3.5-9B](https://huggingface.co/Qwen/Qwen3.5-9B),
+[verwendete GGUF-Dateien](https://huggingface.co/unsloth/Qwen3.5-9B-GGUF/tree/3885219b6810b007914f3a7950a8d1b469d598a5).