Trial GPU-resident Qwen3.5-9B with verified 4B rollback
This commit is contained in:
1 parent
0929cdb555
commit
dec534cc88
10 files changed
+307
-93
No files matched your search
@@ -14,13 +14,14 @@ Reproduzierbares Benutzer-Deployment für Hermes Agent auf Arch Linux mit:
|
||||
- optionalem CUDA-Build von llama-server, llama-cli und llama-bench
|
||||
- Qwen-/RTX-3080-Profilen mit prüfbarem Wechsel und Rückweg
|
||||
|
||||
Stand: 2026-10-23. Die Anleitung für das **aktuelle Setup auf einem neuen Rechner**
|
||||
Stand: 2026-10-27. Die Anleitung für das **aktuelle Setup auf einem neuen Rechner**
|
||||
steht in [NEW_WORKSTATION.md](docs/NEW_WORKSTATION.md): feste Modellrevisionen und
|
||||
Prüfsummen, Vorbereitung der Profile und Hermes-Limits, Aktivierung und Rückweg.
|
||||
Für deine **bestehende Workstation** zuerst
|
||||
[`docs/WORKSTATION.md`](docs/WORKSTATION.md) lesen. Der Schnellstart unten ist für
|
||||
eine neue Maschine. Das Routineprofil nutzt Qwen3.5-4B; der kurze lokale Texttest
|
||||
vom 23.10.2026 erreichte rund 130–136 Tokens/s. Das 27B-Modell bleibt optional.
|
||||
eine neue Maschine. Das Routineprofil erprobt Qwen3.5-9B IQ4_XS mit 64K Kontext. Das bisherige
|
||||
4B-Modell mit 64K bleibt als `fallback` verfügbar. Details und Rückweg:
|
||||
[QWEN9B_TRIAL.md](docs/QWEN9B_TRIAL.md). Das 27B-Modell bleibt optional.
|
||||
Frühere VRAM-Messungen stehen in [RTX3080.md](docs/RTX3080.md). Der Installer richtet keinen
|
||||
Gitea-Server ein und pusht keine Änderungen.
|
||||
|
||||
@@ -134,13 +135,14 @@ Start des llama-Dienstes geladen, nicht bei der Konfigurationsprüfung.
|
||||
Die aktuellen Schutzmaßnahmen gegen endlose Modellantworten und die explizite
|
||||
Umschaltung zwischen Routine- und großem Modell stehen in
|
||||
[INFERENCE_LIMITS.md](docs/INFERENCE_LIMITS.md).
|
||||
Hermes wird mit `model.context_length: 65536` auf das tatsächliche 64K-Fenster
|
||||
beider Hauptmodellprofile eingestellt; die CPU-Kompression beginnt spätestens
|
||||
bei 24.000 Tokens.
|
||||
Hermes verwendet zum aktiven Modell passend 64K Kontext für `routine` (9B),
|
||||
`fallback` (4B) und `large` (27B). Der Modellschalter passt auch die
|
||||
Kompressionsschwelle an: 24.000 Tokens.
|
||||
|
||||
```bash
|
||||
hermes-stack-model status
|
||||
hermes-stack-model routine
|
||||
hermes-stack-model fallback # bisheriges 4B-/64K-Setup
|
||||
hermes-stack-model large
|
||||
```
|
||||
|
||||
|
||||
Reference in new issue
Block a user