Preserve desktop VRAM reserve and portable CPU compression setup

This commit is contained in:
admin committed 2026-10-12 12:36:11 +02:00
1 parent e8512b56f5
commit eb456b37ea
15 files changed
+255 -25

No files matched your search

+23 -2
View File
@@ -90,7 +90,8 @@ der neue Standard: HTTP-Probleme werden gemeldet, nicht durch Neustarts behandel
## 3. Optimieren und zurücksetzen
Nun gemäß [RTX3080.md](RTX3080.md) jeweils nur ein Profil vergleichen. Zurück:
Profil `baseline` wählen und kontrolliert neustarten. Für vollständige Rückkehr
Bei Speicherdruck die größere Reserve von `desktop-64k` verwenden. Die
früheren Vergleichsprofile bieten keine Stabilitätsgarantie. Für vollständige Rückkehr
alte llama.env und ggf. alte Unit/Wrapper aus der Deployment-Sicherung einzeln
wiederherstellen, `daemon-reload` und Neustart nach Jobende. Nicht pauschal ein
Archiv über dein gesamtes Home extrahieren. Die Datei `llama-profile.env` hat nur
@@ -98,7 +99,7 @@ bei aktivem Profilbetrieb Vorrang; ihre vorherigen Stände liegen daneben.
## Workstation-Abgleich vom 2026-09-09
Alltagsprofil bleibt baseline: 65536 Kontext, Fit-Zielmarge 1536 MiB.
Historischer Stand (durch den Abgleich vom 12.10.2026 abgelöst): baseline, 65536 Kontext, Fit-Zielmarge 1536 MiB.
Die zwei kurzen Texttests vom 5. September ergaben im Mittel rund 2,58 tok/s
für baseline und 2,62 tok/s für vram-64k. Das belegt keinen belastbaren
Geschwindigkeitsvorteil. Im fünfminütigen Desktop-/Bildtest mit vram-64k
@@ -126,3 +127,23 @@ Ein echter Update-/Rollback-Lauf der neuen Fassung war damit noch nicht geprüft
Modell und Projektor liegen jetzt außerhalb von ~/.cache. Die korrigierten
Cleanup-Skripte sind unter ~/Scripts installiert. Details und Prüfgrenzen:
[CLEANUP_RECOVERY.md](CLEANUP_RECOVERY.md).
## Workstation-Abgleich vom 2026-10-12
Nach NVIDIA-Speicherallokationsfehlern und GUI-Abstürzen wurde der aktive
Hauptserver auf 4096 MiB Fit-Zielmarge bei unverändert 65536 Kontext umgestellt.
Die aktive `llama.env` enthält dafür explizite `LLAMA_ARGS` bei leerem
`LLAMA_PROFILE`; Profilwechsel wirken dort erst nach bewusster Umstellung auf
Profilbetrieb. Reasoning: auto, Budget 128, kein Preserve.
Die bestehende Kompressions-Unit wurde um `--device none --no-op-offload
--no-kv-offload` ergänzt. Der vorher mit null GPU-Layern weiterhin belegte
VRAM wurde freigegeben. Kurze Text-/Bildtests bestanden mit mindestens 4096 MiB
freiem VRAM und ohne neue NVIDIA-/CUDA-OOM-Fehler. Langzeitstabilität bleibt offen.
Diese aktiven Änderungen wurden separat installiert. Die neuen portablen
Repo-Dateien wurden danach aufgenommen und getestet, aber nicht erneut über
`install.sh` auf die Workstation ausgerollt. Der aktuelle Betrieb bleibt bei den
bereits geprüften Einstellungen. Details zur Übertragung und zu bestehenden
Units/Drop-ins stehen in [RTX3080.md](RTX3080.md).