Sync workstation helpers and preserve baseline deployment

This commit is contained in:
admin committed 2026-09-09 13:31:47 +02:00
1 parent 8641464a6c
commit 3c1080e152
15 files changed
+282 -138

No files matched your search

+3 -1
View File
@@ -10,6 +10,7 @@ helfen; weder Voll-Offload noch eine bestimmte Beschleunigung werden versprochen
| Profil | Kontextlimit | Fit-Zielmarge | Einsatz |
| --- | ---: | ---: | --- |
| `baseline` | 65536 | 1536 MiB | bisherige Startparameter, Referenz und Rückweg |
| `vram-64k` | 65536 | 1280 MiB | optionaler Vergleich, kein Standard |
| `balanced` | 49152 | 1536 MiB | erster Vergleich, nur Kontext reduzieren |
| `vram-plus` | 49152 | 1280 MiB | zweiter Vergleich, kleinere Zielmarge |
| `compact` | 32768 | 1536 MiB | Alternative für kürzere Sitzungen |
@@ -35,7 +36,8 @@ hier bewusst nicht als fertiges Profil vorgesehen.
## Messung statt Auslastungsziel
1. Zuerst `baseline` mit deiner normalen Browser-/Hyprland-Nutzung messen.
2. Jobs beenden. `balanced` wählen und kontrolliert neu starten.
2. Nur bei erneutem Tuning: Jobs beenden, ein Vergleichsprofil wählen
und kontrolliert neu starten. Für 64K Kontext ist dies `vram-64k`.
3. Dieselben Aufgaben erneut ausführen: kurze Textantwort, längerer Agent-Task
mit Tools und eine repräsentative Bildaufgabe. Qualität mitbewerten.
4. Kalten Start nach Idle-Sleep getrennt von warmem Prompt-Cache messen.
+25
View File
@@ -95,3 +95,28 @@ alte llama.env und ggf. alte Unit/Wrapper aus der Deployment-Sicherung einzeln
wiederherstellen, `daemon-reload` und Neustart nach Jobende. Nicht pauschal ein
Archiv über dein gesamtes Home extrahieren. Die Datei `llama-profile.env` hat nur
bei aktivem Profilbetrieb Vorrang; ihre vorherigen Stände liegen daneben.
## Workstation-Abgleich vom 2026-09-09
Alltagsprofil bleibt baseline: 65536 Kontext, Fit-Zielmarge 1536 MiB.
Die zwei kurzen Texttests vom 5. September ergaben im Mittel rund 2,58 tok/s
für baseline und 2,62 tok/s für vram-64k. Das belegt keinen belastbaren
Geschwindigkeitsvorteil. Im fünfminütigen Desktop-/Bildtest mit vram-64k
blieben zeitweise nur 678 MiB VRAM frei. Es gab keinen Dienstneustart;
die Bildaufgabe wurde allerdings abgebrochen, nicht fertiggetestet.
Anschließend wurde baseline wieder aktiviert und der Modellendpunkt geprüft.
Die llama-Unit übernimmt die Limits der Workstation mit 64 GiB RAM:
Nice=10, CPUQuota=1600%, MemoryHigh=40G, MemoryMax=48G, OOMPolicy=stop.
Neustartabstand: 30 Sekunden; StartLimitBurst=3 bei StartLimitIntervalSec=300.
Diese Einstellungen begrenzen keinen GPU-Speicher. Auf anderer Hardware
vor dem Start anpassen. Bestehende Drop-ins können die Vorlage übersteuern.
Die Docker-Netzprüfung ist optional: DOCKER_NETWORK in config.env auf den
Namen des verwendeten Netzes setzen. Leer bedeutet keine Netzprüfung.
Die Prüfung erstellt kein Netz. Private Konfigurationen bleiben außerhalb Git.
Der Repository-Updater enthält die aufgerufenen Retry-Pfade und den gemeinsamen
Benachrichtigungshelfer. Die zuletzt verglichene installierte Fassung enthält
noch ungenutzte Retry-Funktionen. Der Git-Abgleich aktualisiert die Workstation
nicht; die Übernahme des Repository-Updaters steht separat aus.