51 lines
1.2 KiB
Markdown
51 lines
1.2 KiB
Markdown
# SQL AI native Ollama package v3
|
|
|
|
Dieses Paket konsolidiert dein Setup auf **lokales Ollama** statt Docker.
|
|
|
|
## Enthalten
|
|
|
|
- `scripts/bootstrap-native.sh`
|
|
- `scripts/update-native.sh`
|
|
- `scripts/selftest-native.sh`
|
|
- `scripts/cleanup-docker-ollama.sh`
|
|
- `scripts/common.sh`
|
|
- `sql_ai_gui_local_ollama.py`
|
|
|
|
## Wesentliche Änderungen
|
|
|
|
- kein `docker compose` mehr in Bootstrap/Update/Selftest
|
|
- Autostart der lokalen Ollama-Runtime über `systemctl --user start ollama.service` oder Fallback `ollama serve`
|
|
- gemeinsamer Lock gegen parallele Modellupdates
|
|
- robuste Verifikation über `/api/tags`
|
|
- GUI nutzt das lokale `ollama`-Binary für Modellverwaltung und Rebuild des Expert-Modells
|
|
- GUI nutzt die lokale Ollama-API für performantes Streaming
|
|
|
|
## Erwartete Projektstruktur
|
|
|
|
- `.env`
|
|
- `Modelfile`
|
|
- `bin/sqlai`
|
|
- `scripts/`
|
|
|
|
## Nützliche .env Werte
|
|
|
|
```bash
|
|
OLLAMA_URL=http://127.0.0.1:11434
|
|
OLLAMA_BIN=ollama
|
|
BASE_MODEL=qwen2.5-coder:14b
|
|
EXPERT_MODEL=jr-sql-expert
|
|
EXTRA_MODELS="sqlcoder"
|
|
OLLAMA_AUTOSTART=1
|
|
OLLAMA_SYSTEMD_SERVICE=ollama.service
|
|
OLLAMA_SYSTEMD_SCOPE=auto
|
|
```
|
|
|
|
## Empfohlene Reihenfolge
|
|
|
|
```bash
|
|
./scripts/cleanup-docker-ollama.sh
|
|
./scripts/update-native.sh
|
|
./scripts/selftest-native.sh
|
|
python ./sql_ai_gui_local_ollama.py
|
|
```
|