Files
hermes-arch-stack/docs/VALIDATION.md
T

75 lines
4.3 KiB
Markdown

# Validierung vom 2026-10-23 — Kontextabgleich
- `make test`: Syntax-/Secret-Musterprüfung und **52 Funktionstests bestanden**
(26 llama-, zehn Watchdog-, elf Workstation- und fünf Updater-Tests).
ShellCheck fehlt lokal und wurde nicht ausgeführt.
- Regression prüft Ersatz eines veralteten 256.000-Token-Werts, Abgleich mit
beiden 65.536-Token-Hauptmodellprofilen, Erhalt der 24.000-Token-
Kompressionsschwelle und unveränderten zweiten Konfigurationslauf.
- `git diff --check`: erfolgreich.
- Auf Archwork ausschließlich `model.context_length: 65536` ergänzt;
semantischer YAML-Vergleich bestätigt, dass keine andere Einstellung geändert
wurde. Private Sicherung unter
`~/.local/state/hermes-stack-maintenance/context-64k-20261023-144440/config.yaml`.
- Gateway kontrolliert neu gestartet; Hauptmodell und CPU-Kompression ohne
Neustart. `hermes config get model.context_length` liefert `65536`.
- Neue lokale Hermes-Sitzung über den Gateway antwortet korrekt mit
`HERMES_OK 323`. Seit der Aktivierung keine erneute Kontext-Fallback-Warnung
im Hermes-Fehlerprotokoll. Bestehende Plugin-/Docker-Warnungen bleiben sichtbar.
- Kein langer 64K-Dialog, keine erzwungene Kompression und kein Test des großen
Modells für diese Änderung; der Live-Nachweis gilt für die neue kurze Sitzung
mit dem aktiven Routineprofil.
# Validierung vom 2026-10-21
- `make test`: Syntax- und Secret-Musterprüfung sowie **31 Funktionstests
bestanden** (26 vorhandene Tests und fünf neue Updater-Regressionstests).
- Neue isolierte Tests: unveränderter Stable-Commit bei neuerem `main`,
fehlgeschlagener Updater ohne Commitwechsel, erfolgreicher Commitwechsel,
Commitwechsel mit Updater-Restartwarnung und Gateway-Rollback.
Externe Programme werden simuliert; kein echtes Netzwerk oder systemd darin.
- `git diff --check`: erfolgreich. ShellCheck ist lokal nicht installiert.
- Korrigierter Wrapper auf Archwork installiert und bytegleich geprüft.
- Echter Update-Dienstlauf am 21.10.2026, 16:26 MESZ: Stable v0.22.3 blieb auf
Commit `5b147ab036d6d19131bff8d20701b5001eab844a`; Abschluss nach rund 47 Sekunden
mit `Result=success` und `ExecMainStatus=0`. Gateway danach `active/running`.
Die neue Erfolgsmeldung erschien im Journal des Update-Dienstes.
- Ein echter Versionswechsel und ein echter Rollback wurden bei dieser Abnahme
nicht ausgelöst. Ein vollständiger Installer-Lauf wurde nicht durchgeführt.
# Validierung vom 2026-10-12
- `make test`: Shell-Syntaxprüfung, Secret-Mustercheck und **26 isolierte
Funktionstests bestanden**, einschließlich separater CPU-Kompressionskonfiguration.
- `git diff --check`: erfolgreich.
- Neue Profil- und Kompressionsvorlagen mit der installierten llama.cpp-Binary
auf unterstützte Optionsnamen geprüft, ohne Modellstart.
- ShellCheck ist lokal nicht installiert; weiterhin über Gitea-CI vorgesehen.
- Die aktive Workstation-Konfiguration wurde vor der Repo-Änderung mit echten
Text-/Bildanfragen und mindestens 4096 MiB freiem VRAM geprüft. Die portablen
Installer-/Wrapperdateien wurden nicht erneut auf den laufenden Rechner
installiert. Keine neue Workstation eingerichtet und kein Langzeitnachweis.
# Validierung vom 2026-09-05
Ausgeführt in einer isolierten Arbeitsumgebung, nicht auf der Workstation:
- `make test`: erfolgreich.
- `bash -n`: Installer, Uninstaller, alle libexec-/Installationsskripte und
alle vier Beispielkonfigurationen erfolgreich.
- Python-Vertragstests: **25 Tests erfolgreich**. Fake-Binaries ersetzen
CUDA-Build, Git-Netzwerk, systemd, HTTP und Signal-Zustellung.
- `git diff --check`: erfolgreich.
- Einfacher Secret-Mustercheck des Smoke-Skripts: kein Treffer. Kein Ersatz
für einen vollständigen Secret-Scanner oder die Prüfung vor einem Push.
- ShellCheck war hier nicht installiert und wurde nicht ausgeführt; die
mitgelieferte Gitea-CI installiert und verwendet ihn.
Nicht durchgeführt: Arch-Paketinstallation, echter CUDA-Build, Modell-Download,
GPU-/Hyprland-Benchmark, Hermes-Installation, End-to-End-Update/Rollback oder
echte Signal-/Telegram-Nachrichten. Die 25 Tests sind kein Nachweis dafür.
Vor Produktivbetrieb: `WORKSTATION.md` bzw. `MIGRATION.md` abarbeiten, danach
`RTX3080.md` für kontrollierte Vergleiche. Kein Dienst auf der Workstation wurde
durch die Erstellung dieses Pakets verändert.