Sync workstation helpers and preserve baseline deployment
This commit is contained in:
1 parent
8641464a6c
commit
3c1080e152
15 files changed
+282
-138
No files matched your search
+3
-1
@@ -10,6 +10,7 @@ helfen; weder Voll-Offload noch eine bestimmte Beschleunigung werden versprochen
|
||||
| Profil | Kontextlimit | Fit-Zielmarge | Einsatz |
|
||||
| --- | ---: | ---: | --- |
|
||||
| `baseline` | 65536 | 1536 MiB | bisherige Startparameter, Referenz und Rückweg |
|
||||
| `vram-64k` | 65536 | 1280 MiB | optionaler Vergleich, kein Standard |
|
||||
| `balanced` | 49152 | 1536 MiB | erster Vergleich, nur Kontext reduzieren |
|
||||
| `vram-plus` | 49152 | 1280 MiB | zweiter Vergleich, kleinere Zielmarge |
|
||||
| `compact` | 32768 | 1536 MiB | Alternative für kürzere Sitzungen |
|
||||
@@ -35,7 +36,8 @@ hier bewusst nicht als fertiges Profil vorgesehen.
|
||||
## Messung statt Auslastungsziel
|
||||
|
||||
1. Zuerst `baseline` mit deiner normalen Browser-/Hyprland-Nutzung messen.
|
||||
2. Jobs beenden. `balanced` wählen und kontrolliert neu starten.
|
||||
2. Nur bei erneutem Tuning: Jobs beenden, ein Vergleichsprofil wählen
|
||||
und kontrolliert neu starten. Für 64K Kontext ist dies `vram-64k`.
|
||||
3. Dieselben Aufgaben erneut ausführen: kurze Textantwort, längerer Agent-Task
|
||||
mit Tools und eine repräsentative Bildaufgabe. Qualität mitbewerten.
|
||||
4. Kalten Start nach Idle-Sleep getrennt von warmem Prompt-Cache messen.
|
||||
|
||||
@@ -95,3 +95,28 @@ alte llama.env und ggf. alte Unit/Wrapper aus der Deployment-Sicherung einzeln
|
||||
wiederherstellen, `daemon-reload` und Neustart nach Jobende. Nicht pauschal ein
|
||||
Archiv über dein gesamtes Home extrahieren. Die Datei `llama-profile.env` hat nur
|
||||
bei aktivem Profilbetrieb Vorrang; ihre vorherigen Stände liegen daneben.
|
||||
|
||||
## Workstation-Abgleich vom 2026-09-09
|
||||
|
||||
Alltagsprofil bleibt baseline: 65536 Kontext, Fit-Zielmarge 1536 MiB.
|
||||
Die zwei kurzen Texttests vom 5. September ergaben im Mittel rund 2,58 tok/s
|
||||
für baseline und 2,62 tok/s für vram-64k. Das belegt keinen belastbaren
|
||||
Geschwindigkeitsvorteil. Im fünfminütigen Desktop-/Bildtest mit vram-64k
|
||||
blieben zeitweise nur 678 MiB VRAM frei. Es gab keinen Dienstneustart;
|
||||
die Bildaufgabe wurde allerdings abgebrochen, nicht fertiggetestet.
|
||||
Anschließend wurde baseline wieder aktiviert und der Modellendpunkt geprüft.
|
||||
|
||||
Die llama-Unit übernimmt die Limits der Workstation mit 64 GiB RAM:
|
||||
Nice=10, CPUQuota=1600%, MemoryHigh=40G, MemoryMax=48G, OOMPolicy=stop.
|
||||
Neustartabstand: 30 Sekunden; StartLimitBurst=3 bei StartLimitIntervalSec=300.
|
||||
Diese Einstellungen begrenzen keinen GPU-Speicher. Auf anderer Hardware
|
||||
vor dem Start anpassen. Bestehende Drop-ins können die Vorlage übersteuern.
|
||||
|
||||
Die Docker-Netzprüfung ist optional: DOCKER_NETWORK in config.env auf den
|
||||
Namen des verwendeten Netzes setzen. Leer bedeutet keine Netzprüfung.
|
||||
Die Prüfung erstellt kein Netz. Private Konfigurationen bleiben außerhalb Git.
|
||||
|
||||
Der Repository-Updater enthält die aufgerufenen Retry-Pfade und den gemeinsamen
|
||||
Benachrichtigungshelfer. Die zuletzt verglichene installierte Fassung enthält
|
||||
noch ungenutzte Retry-Funktionen. Der Git-Abgleich aktualisiert die Workstation
|
||||
nicht; die Übernahme des Repository-Updaters steht separat aus.
|
||||
Reference in new issue
Block a user