Align Hermes context window with local 64K model profiles
This commit is contained in:
1 parent
8544abd2d4
commit
0929cdb555
7 files changed
+91
-2
No files matched your search
@@ -134,6 +134,9 @@ Start des llama-Dienstes geladen, nicht bei der Konfigurationsprüfung.
|
||||
Die aktuellen Schutzmaßnahmen gegen endlose Modellantworten und die explizite
|
||||
Umschaltung zwischen Routine- und großem Modell stehen in
|
||||
[INFERENCE_LIMITS.md](docs/INFERENCE_LIMITS.md).
|
||||
Hermes wird mit `model.context_length: 65536` auf das tatsächliche 64K-Fenster
|
||||
beider Hauptmodellprofile eingestellt; die CPU-Kompression beginnt spätestens
|
||||
bei 24.000 Tokens.
|
||||
|
||||
```bash
|
||||
hermes-stack-model status
|
||||
|
||||
Reference in new issue
Block a user