Trial GPU-resident Qwen3.5-9B with verified 4B rollback

2026-10-27 17:14:38 +01:00
1 parent 0929cdb555
commit dec534cc88
@@ -1,12 +1,12 @@
 # Lokale Inferenz begrenzen

 Die Workstation verwendet `hermes-local` als stabilen API-Modellnamen. Das
-Routineprofil lädt Qwen3.5-4B Q4_K_M (Unsloth-Revision
-`e87f176479d0855a907a41277aca2f8ee7a09523`), das große Profil weiterhin das
+Routineprofil lädt Qwen3.5-9B IQ4_XS (Unsloth-Revision
+`3885219b6810b007914f3a7950a8d1b469d598a5`), das große Profil weiterhin das
 vorhandene Qwen3.8-27B. Die tatsächliche Auswahl steht in
 `~/.config/hermes-stack-maintenance/llama.env`.

-`hermes-stack-model routine` bzw. `hermes-stack-model large` schaltet explizit um
+`hermes-stack-model routine`, `fallback` bzw. `large` schaltet explizit um
 und beendet dabei laufende Gateway-Anfragen. Beide Dateien bleiben erhalten.
 Es wird nur ein Hauptmodell gleichzeitig geladen. Die lokalen profilspezifischen
 Konfigurationen `llama-routine.env` und `llama-large.env` enthalten absolute
@@ -22,21 +22,16 @@ ebenfalls das aktiv ausgewählte Modell; die tatsächliche Modelldatei zeigt

 ## Kontextgröße und Kompression

-Beide Hauptmodellprofile starten mit `--ctx-size 65536`. Hermes muss dieselbe
-Grenze kennen: `model.context_length: 65536` in `~/.hermes/config.yaml`.
-Der lokale Alias `hermes-local` wurde bei der Live-Prüfung vom 23.10.2026 nicht
-zuverlässig erkannt; Hermes meldete einen Fallback auf 256.000 Tokens.
-Die explizite Grenze verhindert eine zu große Annahme bei Kontextverwaltung und
-Platzplanung. Sie vergrößert weder das Modellfenster noch die GPU-Belegung.
+Das Routineprofil verwendet `--ctx-size 65536`, das bisherige 4B-Profil
+(`fallback`) und das große Profil jeweils 65536. Der Modellschalter setzt
+`model.context_length` und `compression.threshold_tokens` zusammen mit dem
+Modell: 65536/24000 für alle drei Profile. Er sichert
+beide Konfigurationen und stellt bei einem Wechsel-Fehler beide wieder her.
+Legacy-Profile ohne `LLAMA_CONTEXT_TOKENS` werden als 64K behandelt; eigene
+Profile müssen diese Metadaten passend zu `--ctx-size` setzen.

-`scripts/prepare-workstation.py --configure-hermes` setzt die Grenze bei der
-Einrichtung für Routine- und großes Profil. Bei einem späteren eigenen Profil
-mit anderer `--ctx-size` muss `model.context_length` entsprechend mitgeändert
-werden.
-
-Die bestehende CPU-Kompression bleibt bei `threshold: 0.5` und
-`threshold_tokens: 24000`: Die absolute Obergrenze zieht die Kompression vor
-die rechnerische 50-Prozent-Schwelle von 32.768 Tokens. `target_ratio: 0.2`,
+Die CPU-Kompression bleibt bei `threshold: 0.5` und der absoluten Schwelle
+von 24.000 Tokens. `target_ratio: 0.2`,
 Schutz der ersten drei und letzten zehn Nachrichten sowie die bestehenden
 Zeitbudgets bleiben erhalten. Die Schwelle ist ein Auslöser, keine harte
 Obergrenze für einzelne Nachrichten oder Werkzeugergebnisse.
@@ -44,18 +39,13 @@ Obergrenze für einzelne Nachrichten oder Werkzeugergebnisse.
 Für eine bestehende Installation genügt nach Abschluss laufender Aufträge:

 ```bash
-cp -p ~/.hermes/config.yaml ~/.hermes/config.yaml.before-context-64k
-hermes config set model.context_length 65536
-hermes config get model.context_length
-systemctl --user restart hermes-gateway.service
+hermes-stack-model routine   # 9B, 64K
+hermes-stack-model fallback  # 4B, 64K inklusive Kompressionsschwelle
 ```

-Den Sicherungsnamen bei wiederholter Ausführung ändern, damit die frühere
-Sicherung erhalten bleibt. Der Hauptmodell- und CPU-Kompressionsdienst brauchen
-für diese Hermes-Einstellung keinen Neustart. Neue Sitzungen verwenden die neue
-Grenze; bereits im Agentzustand gehaltene Kontextwerte sind kein verlässlicher
-Nachweis. Zur Abnahme eine neue Sitzung öffnen und die Modellantwort sowie das
-Gateway-Protokoll auf erneute Kontext-Fallback-Warnungen prüfen.
+Der Modellschalter startet Hauptmodell und Gateway kontrolliert neu. Bereits
+laufende Anfragen werden beendet; CPU-Kompression läuft unverändert weiter.
+Die aktuellen Messungen und der Rückweg stehen in [QWEN9B_TRIAL.md](QWEN9B_TRIAL.md).

 ## Drei Schutzebenen

@@ -99,5 +89,5 @@ sowie Gateway neu starten. Cronjob-Modellbindungen sind über `hermes cron edit
 JOB_ID --model MODELL --provider custom` wiederherstellbar.

 Quellen: [llama.cpp Serverparameter](https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md),
-[Qwen3.5-4B](https://huggingface.co/Qwen/Qwen3.5-4B),
-[verwendete GGUF-Dateien](https://huggingface.co/unsloth/Qwen3.5-4B-GGUF/tree/e87f176479d0855a907a41277aca2f8ee7a09523).
+[Qwen3.5-9B](https://huggingface.co/Qwen/Qwen3.5-9B),
+[verwendete GGUF-Dateien](https://huggingface.co/unsloth/Qwen3.5-9B-GGUF/tree/3885219b6810b007914f3a7950a8d1b469d598a5).
@@ -1,8 +1,9 @@
 # Aktuelles Workstation-Setup neu installieren

-Stand: 23.10.2026. Diese Anleitung stellt den aktuellen lokalen Modellbetrieb
-wieder her: Qwen3.5-4B für den Alltag, Qwen3.8-27B als explizite Alternative,
-Qwen3-1.7B für Kompression auf der CPU, 64K Kontext sowie Antwort- und Zeitlimits.
+Stand: 27.10.2026. Diese Anleitung stellt den aktuellen lokalen Modellbetrieb
+wieder her: Qwen3.5-9B mit 64K für den Alltag als Erprobung, Qwen3.5-4B mit 64K als
+Rückfallprofil, Qwen3.8-27B als explizite Alternative und Qwen3-1.7B für
+Kompression auf der CPU sowie Antwort- und Zeitlimits.
 Die Modelle werden nacheinander betrieben; der Kompressionsserver läuft separat.

 ## 1. Voraussetzungen und Deployment
@@ -75,7 +76,7 @@ Während dieser Konfigurationsänderung muss der Gateway gestoppt sein:
 ```bash
 systemctl --user stop hermes-gateway.service
 python3 scripts/prepare-workstation.py \
-  --download --models routine,large,compression \
+  --download --models routine,large,compression,fallback \
  --select routine --configure-hermes --unpin-local-cron
 ```

@@ -83,7 +84,7 @@ Bei noch nicht installierter Gateway-Unit ist deren Stop-Fehler unkritisch.
 Die Vorbereitung startet selbst keine Dienste. Sie prüft vor Änderungen, dass
 kein Gateway läuft, und teilt das Maintenance-Lock mit Updater und Watchdog.

-Alle fünf Modelldateien zusammen benötigen rund **22,6 GiB**. Wer zunächst nur
+Alle sieben Modelldateien zusammen benötigen rund **28,3 GiB**. Wer zunächst nur
 das Alltagsmodell möchte, verwendet `--models routine`. Für Routine plus CPU-
 Kompression `--models routine,compression`. Ohne `--download` müssen die Dateien
 bereits im erwarteten Modellverzeichnis liegen; das ermöglicht eine Offline-
@@ -96,7 +97,7 @@ Prüfung umbenannt. Beschädigte vorhandene Dateien werden gemeldet und behalten
 Fehlgeschlagene Downloads können erneut gestartet werden; bei einem falschen
 Partial-Download muss die betroffene `.part` vor erneutem Download entfernt werden.

-Der Helfer erzeugt fehlende Dateien `llama-routine.env`, `llama-large.env` und
+Der Helfer erzeugt fehlende Dateien `llama-routine.env`, `llama-fallback.env`, `llama-large.env` und
 `compression.env` für den jeweiligen Benutzernamen. Bereits vorhandene Profile
 und deren Tuning bleiben erhalten. `--select routine` übernimmt das vorbereitete
 Routineprofil ausdrücklich als aktive `llama.env` und sichert deren alten Stand.
@@ -106,9 +107,9 @@ verzeichnis verschieben. Das gilt auch für `LLAMA_SERVER_BIN`.

 `--configure-hermes` aktualisiert mit Backup die lokalen Provider-, Vision- und
 optional Kompressionseinstellungen, das 30-Minuten-Auftragsbudget und die
-600-Sekunden-/2048-Token-Limits. Dabei setzt er `model.context_length: 65536`
-passend zu beiden Hauptmodellprofilen. Bei CPU-Kompression bleibt die
-Kompressionsschwelle auf 24.000 Tokens begrenzt. Fremde Provider, Terminal, Plugins und andere
+600-Sekunden-/2048-Token-Limits. Dabei setzt er `model.context_length`
+passend zur Auswahl: 65536 für alle drei Profile. Die
+Kompressionsschwelle beträgt 24.000 Tokens. Fremde Provider, Terminal, Plugins und andere
 Einstellungen bleiben bestehen. `--unpin-local-cron` löst nur bekannte lokale
 Modellbindungen über die Hermes-CLI; eigene Cloud-Provider bleiben gebunden.
 Die Option legt keine Cronjobs an. Vorhandene Cronjobs kommen aus dem privaten
@@ -146,8 +147,9 @@ systemctl --user status hermes-stack-llama-watchdog.timer
 ```

 Danach eine deutsche Textantwort, ein Bild und einen Werkzeugaufruf in Hermes
-prüfen. Der bisherige Live-Test erreichte bei kurzen Textanfragen etwa
-130–136 Tokens/s; das ist kein Benchmark für lange Kontexte oder Bildaufgaben.
+prüfen. Messungen zur aktuellen 9B-Erprobung stehen in
+[QWEN9B_TRIAL.md](QWEN9B_TRIAL.md). Der historische 4B-Test erreichte bei
+kurzen Textanfragen etwa 130–136 Tokens/s; das ist kein Benchmark für lange Kontexte oder Bildaufgaben.
 Eine erzwungene lange Antwort endete bei genau 2048 Tokens, und ein reiner
 Tool-Call wurde korrekt als JSON erzeugt. Ein zehnminütiger echter Hänger wurde
 nicht absichtlich erzeugt; dessen Watchdog-Recovery ist automatisiert simuliert.
@@ -156,15 +158,17 @@ nicht absichtlich erzeugt; dessen Watchdog-Recovery ist automatisiert simuliert.

 ```bash
 hermes-stack-model          # aktives Modell anzeigen
-hermes-stack-model routine  # schnelles Alltagsmodell
+hermes-stack-model routine  # 9B/64K-Erprobung
+hermes-stack-model fallback # bisheriges 4B/64K-Profil
 hermes-stack-model large    # größeres Modell für bewusste Einzelnutzung
 ```

 Ein Wechsel stoppt laufende Gateway-Anfragen, prüft die Kandidatenkonfiguration,
-sichert `llama.env`, wartet nach dem Modellstart auf `/health` und startet den
+sichert `llama.env` und die Hermes-Konfiguration, setzt Kontext und
+Kompressionsschwelle passend, wartet nach dem Modellstart auf `/health` und startet den
 Gateway wieder. Bei Fehlern wird die vorherige Konfiguration zurückkopiert und
 die Wiederaufnahme der Dienste versucht; Journal und Dienststatus kontrollieren.
-Beide Modelle verwenden den stabilen API-Alias `hermes-local` und dieselben Limits.
+Alle Hauptmodelle verwenden den stabilen API-Alias `hermes-local` und dieselben Limits.

 Automatischer Wechsel zwischen den Modellen findet nicht statt. Das große Modell
 bleibt auf der 10-GB-Karte langsam. Für Betrieb ohne Anmeldung optional
@@ -0,0 +1,114 @@
+# Qwen3.5-9B auf der RTX 3080 erproben
+
+Stand: 27.10.2026. Ziel ist bessere Alltagsqualität bei vollständigem GPU-Offload
+des Sprachmodells und weiter nutzbarem Hyprland-/Browser-Desktop. Die Freigabe
+ist eine Erprobung, keine Langzeit-Stabilitätszusage oder Qualitätsbewertung.
+
+## Profile und Schutzgrenzen
+
+- `routine`: Qwen3.5-9B IQ4_XS, 65536 Kontexttokens, Q4_0-K/V-Cache,
+  vollständiger GPU-Offload (`--n-gpu-layers 99 --fit off`), Batch 512,
+  Microbatch 128. Der Bildprojektor läuft mit `--no-mmproj-offload` auf der CPU.
+- `fallback`: das bisherige Qwen3.5-4B Q4_K_M mit 65536 Kontexttokens und
+  Q8_0-K/V-Cache. Auf Archwork wurde die aktive Ausgangskonfiguration unverändert
+  als `llama-fallback.env` übernommen. Eine Neuinstallation erzeugt sie aus dem Manifest.
+- `large`: bisheriges Qwen3.8-27B-Profil für bewusste Einzelnutzung.
+
+Die Gewichte und der Bildprojektor sind in `config/models.lock.json` mit fester
+Hugging-Face-Revision, Dateigröße und SHA-256 fixiert. Der Projektor bleibt erhalten;
+die Bildverarbeitung benötigt CPU-Zeit. IQ4_XS und der Q4_0-Kontextcache sparen
+Speicher gegenüber Q4_K_M/Q8_0 und können die Antwortqualität beeinflussen.
+
+Hermes und Server bleiben bei 65536 Kontexttokens; die CPU-Kompression beginnt
+spätestens bei 24000 Tokens. Antwortlimit 2048 Tokens, Request-Watchdog und
+bestehende Zeitbudgets bleiben bestehen. Die jetzige Hermes-Version verlangt
+mindestens 64000 Kontexttokens: Eine 16K-Konfiguration wird beim Agentstart
+abgelehnt, auch wenn der Modellserver selbst antwortet. Das wurde lokal geprüft.
+Der Modellschalter lehnt bei vorhandener Hermes-Konfiguration Metadaten unter
+dieser Grenze ab und stellt bei Fehlern die vorherige Modell- und Hermes-Konfiguration
+wieder her.
+
+## Messungen und verworfene Konfigurationen
+
+Alle Speicherangaben sind MiB laut `nvidia-smi`; die freie Menge hängt von den
+gleichzeitig laufenden Desktop-Anwendungen ab und ist nicht reserviert.
+
+| Konfiguration | Beobachtung |
+|---|---|
+| 4B Q4_K_M, 64K, GPU-Projektor | Vergleichstest: mindestens 2288 MiB frei; kurze Textgenerierung ca. 136 Tokens/s |
+| 9B Q4_K_M, 16K, GPU-Projektor, Standardpuffer | Nur ca. 900 MiB frei nach Start; verworfen |
+| 9B Q4_K_M, 16K, CPU-Projektor, kleinere Puffer | Mindestens 1760 MiB frei; ca. 94 Tokens/s, Screenshot ca. 39 s; direktes API funktioniert, Hermes lehnt 16K ab |
+| 9B Q4_K_M, 64K, CPU-Projektor, Q4_0-Cache | Nur ca. 1439 MiB frei nach Start; zugunsten kleinerer Gewichtsdatei verworfen |
+| 9B IQ4_XS, 64K, CPU-Projektor, Q4_0-Cache, Batch 512/Microbatch 128 | Nach Start 1988 MiB frei; im Text-/Bild-/Werkzeug-/58315-Token-Test mindestens **1627 MiB frei**; ca. 73–101 Tokens/s |
+
+Die ersten API-Tests prüfen deutsche Textantwort, Screenshot-Erkennung,
+strukturierten Werkzeugaufruf (`add`, Argumente 17/25) und knapp 11000 Tokens
+Eingabekontext. Der Werkzeugaufruf wird nur als JSON geprüft und nicht ausgeführt.
+Die kurzen Beispiele belegen Funktionsfähigkeit, keinen Qualitätsgewinn gegenüber
+4B. Die ursprüngliche Modellbewertung beruhte auf Hersteller-Benchmarks und muss
+sich in Johannes' tatsächlichen Aufgaben bewähren.
+
+Das endgültige IQ4_XS-Profil beantwortete die 58315-Token-Anfrage ohne
+Abschneiden in ca. 22,4 Sekunden. Der strukturierte Werkzeugaufruf enthielt
+korrekt `{"a":17,"b":25}`. Ein echter lokaler Hermes-Lauf mit 65536 Kontext,
+20243 Zeichen Systemprompt und 19 Signal-Werkzeugbeschreibungen antwortete
+in ca. 5,2 Sekunden mit „Modelltest erfolgreich“. Werkzeugausführung war für
+diesen Lauf deaktiviert; es wurden keine Nachrichten an Kontakte versendet.
+
+**Bildgrenze:** Der Screenshot brauchte mit dem CPU-Projektor ca. 38,9 Sekunden.
+CPU-Modell und die Angabe 6.0G/10G wurden erkannt, im freien Text wurde aber die
+Leistungsangabe 106 W fälschlich als „106 GB“ wiedergegeben. Die Bildverarbeitung
+funktioniert technisch; fehlerfreie OCR oder ein Qualitätsgewinn gegenüber 4B
+sind damit nicht belegt. Eine gezielte JSON-Nachfrage nach belegtem und gesamtem
+VRAM lieferte anschließend korrekt `6.0`/`10.0` in ca. 38,9 Sekunden.
+Die freien 1627 MiB sind ein gemessenes Minimum während
+dieses kurzen Tests, keine dauerhafte Zusicherung bei zusätzlichen Anwendungen.
+
+Repository-Prüfungen: 55 Python-Tests und Bash-Syntaxprüfungen bestanden;
+Shellcheck ist auf der Workstation nicht installiert. Hauptmodell, Gateway und
+CPU-Kompression waren abschließend `active/running`, jeweils ohne automatische
+Neustarts. Im zugänglichen Kerneljournal seit Versuchsbeginn keine Treffer für
+NVIDIA-/Xid-/Speicherfehler. Kein absichtlich erzeugter
+UI-Absturz, keine Neustart- oder Langzeitabnahme.
+
+## Bestehende 4B-Installation übernehmen
+
+Die Vorbereitungshilfe überschreibt vorhandene Profil-Dateien absichtlich nicht.
+Vor einer manuellen Migration deshalb die aktive `llama.env`, das bisherige
+`llama-routine.env` und die Hermes-YAML separat sichern, die bisherige aktive
+4B-Konfiguration als `llama-fallback.env` erhalten und das alte Routineprofil
+in die Sicherung verschieben. Erst dann `prepare-workstation.py --download
+--models routine` ausführen (gegebenenfalls `--server-bin /usr/bin/llama-server`).
+Das erzeugt die neue Routinekonfiguration, ohne bereits umzuschalten.
+Nach Installation des aktuellen Umschalters erfolgt die Aktivierung ausdrücklich
+mit `hermes-stack-model routine`. Kein Modellwechsel durch `install.sh` allein.
+
+## Umschalten und zurückrollen
+
+```bash
+hermes-stack-model status
+hermes-stack-model fallback  # ursprüngliches 4B-/64K-Setup wieder aktivieren
+hermes-stack-model routine   # 9B-Erprobung wieder aktivieren
+```
+
+Ein Wechsel beendet laufende Gateway-Anfragen. Der Umschalter sichert beide
+Konfigurationen, übernimmt das Profil samt Kontext-/Kompressionsgrenze, wartet
+auf den Modell-Healthcheck und startet den Gateway. Bei Startfehlern versucht er
+die Rückkehr zum vorherigen Profil; danach Dienststatus prüfen.
+
+Der Rückweg auf Archwork wurde während der Erprobung tatsächlich ausgeführt:
+`llama.env` war danach bytegleich zum Ausgangsstand, die gesamte Hermes-YAML
+semantisch identisch; ein lokaler Hermes-Lauf mit 19 Signal-Werkzeugbeschreibungen
+antwortete mit „Modelltest erfolgreich.“. Es wurde keine Nachricht an einen
+Kontakt gesendet.
+
+Die vollständige lokale Ausgangssicherung liegt auf Archwork unter
+`~/.local/state/hermes-stack-maintenance/qwen9b-20261027/` (private Hermes-YAML,
+aktives Profil, altes Routineprofil, vorheriger Umschalter und Messberichte).
+Diese privaten Dateien werden nicht eingecheckt. Der normale Rückweg braucht
+keine Wiederherstellung der gesamten Sicherung, sondern nur den Fallback-Befehl.
+
+Bei erneutem UI-Stottern, Grafikfehlern oder zu geringer Reserve zuerst
+`hermes-stack-model fallback` verwenden. Bei einem dauerhaft unbedienbaren
+Desktop lässt sich derselbe Befehl aus einer Textkonsole ausführen. Ein
+automatischer Wechsel wegen neuer UI-Probleme ist nicht eingerichtet.
@@ -1,5 +1,8 @@
 # Qwen auf RTX 3080 10 GB / Hyprland

+Aktuelle 9B-Erprobung mit 4B-Rückfallprofil: [QWEN9B_TRIAL.md](QWEN9B_TRIAL.md).
+Die folgenden Fit-Profile und älteren Messungen betreffen den 27B-Betrieb.
+
 Zielhardware: RTX 3080 mit 10 GiB, i9-13900KF, 64 GB RAM. Der Desktop und
 llama.cpp nutzen dieselbe GPU. Das 27B-Modell in Q4_K_M passt nicht vollständig
 in 10 GiB: CPU/RAM-Offload bleibt erforderlich. Mehr VRAM für Gewichte kann
@@ -1,10 +1,12 @@
 # Bestehende Workstation behutsam übernehmen

-Aktueller Stand seit 23.10.2026: Qwen3.5-4B als Routineprofil und Qwen3.8-27B
-als Alternative mit gemeinsamem Alias `hermes-local`, Token-/Zeitlimits und
-Slot-Watchdog. Einrichtung und Migration: [NEW_WORKSTATION.md](NEW_WORKSTATION.md),
-[INFERENCE_LIMITS.md](INFERENCE_LIMITS.md). Die nachfolgende Profilumstellung
-beschreibt den früheren 27B-Betrieb und ersetzt diese aktuelle Auswahl nicht.
+Aktueller Stand seit 27.10.2026: Erprobung von Qwen3.5-9B IQ4_XS mit 16K
+Kontext als Routineprofil. Das bisherige Qwen3.5-4B-/64K-Profil bleibt mit
+`hermes-stack-model fallback` erreichbar. Messungen und Rückweg:
+[QWEN9B_TRIAL.md](QWEN9B_TRIAL.md). Einrichtung und Migration:
+[NEW_WORKSTATION.md](NEW_WORKSTATION.md), [INFERENCE_LIMITS.md](INFERENCE_LIMITS.md).
+Die nachfolgenden historischen Profilumstellungen beschreiben den früheren
+27B-Betrieb und ersetzen diese aktuelle Auswahl nicht.

 Nicht blind den Schnellstart für eine neue Maschine ausführen. Vorhandene
 Hermes-/Signal-Konfiguration bleibt privat und wird nicht durch das Repo ersetzt.