Document first Azure AI evaluation runs and refine analysis prompt

This commit is contained in:
admin committed 2026-09-09 12:10:32 +02:00
1 parent 4ee0e17b8d
commit 1d9011faa8
4 files changed
+159

No files matched your search

+81
View File
@@ -55,3 +55,84 @@ Für jede Antwort prüfen:
Erster manueller Durchlauf:
Beide Fälle anhand der Antworten im Lernchat geprüft.
Kein automatisierter Modelltest und kein Nachweis wiederholbarer Qualität.
## Testlauf vom 09.09.2026 – Completed mit fachlichen Fehlern
### Konfiguration
- Modell: gpt-4.1-mini
- Modellversion: 2025-04-14
- Bereitstellung: importassist-analysis (Global Standard)
- Durchführung: manuell im Foundry-Playground
- Quellen: invoice-interface-v1.md und invoices-report.json
- Anweisungen: ai-analysis-prompt.md vor der heutigen Ergänzung
- Websuche: deaktiviert
### Eingabe
Prüfbericht mit Status Completed:
5 Rechnungen, davon 1 gültig und 4 fehlerhaft.
Keine Dateistrukturfehler.
### Erwartung
- Mengen, Zeilen und Regelkennungen korrekt wiedergeben.
- Completed als abgeschlossene Prüfung erklären.
- Keine Importfreigabe oder Erlaubnis zum Teilimport ableiten.
- Gültigkeit auf die implementierten Prüfregeln begrenzen.
- Keine ursprünglichen Beträge oder Ersatzwerte erfinden.
### Beobachtung
- Mengen, betroffene Zeilen und Regelkennungen korrekt erkannt.
- Prüfschritte mit Bezug auf Quelldaten vorgeschlagen.
- Keine konkreten Ersatzwerte erfunden.
- Unbelegte Aussage: „Datei insgesamt importierbar“.
- Zu umfassende Aussage: INV-001 sei „fehlerfrei“.
### Bewertung
Teilweise bestanden.
Die Antwort enthält eine unbelegte Importfreigabe und stellt die
Aussagekraft der implementierten Prüfregeln zu umfassend dar.
### Anpassung
Anweisungen um zwei Klarstellungen ergänzt:
- Completed bedeutet keine Importfreigabe.
- isValid gilt ausschließlich für die implementierten Prüfregeln.
### Wiederholung
Noch offen. Dieselbe Eingabe in einem neuen Chat mit den ergänzten
Anweisungen testen und das Ergebnis hier dokumentieren.
### Wiederholung 2 mit präzisierten Anweisungen
- Mengen, Fehler und Regelkennungen korrekt wiedergegeben.
- Keine unbelegte Importfreigabe.
- Aussagekraft der Prüfung eingeschränkt; Währung als ungeprüft benannt.
- Gewünschte Formulierung für isValid=true nicht wörtlich übernommen.
- Ungenaue Bezeichnung „keine Rechnung“ statt „Rechnungsnummer fehlt“.
- Gutschrift als mögliche Ursache angesprochen, ohne sie ausdrücklich
als unbelegte Hypothese zu kennzeichnen.
Bewertung: teilweise bestanden; wesentliche frühere Fehler behoben.
Verbleibende sprachliche und fachliche Unschärfen dokumentiert.
Ein einzelner Lauf belegt noch keine zuverlässige Wiederholbarkeit.
## Testlauf vom 09.09.2026 – Rejected wegen Strukturfehler
### Eingabe
Prüfbericht mit Status Rejected, leeren rows und einem
Dateistrukturfehler in Zeile 3.
### Beobachtung
- Status Rejected und fehlende fachliche Prüfung korrekt erklärt.
- Zeile 3 korrekt als zweite Datenzeile eingeordnet.
- Strukturfehler korrekt CSV-001 zugeordnet.
- Keine bestimmte fehlende Spalte erfunden.
- Mögliche Fehlerursachen ausdrücklich offengelassen.
- Keine Behauptung, die Datei enthalte null Rechnungen.
- Entfernen von Anführungszeichen zu konkret empfohlen,
obwohl deren Vorhandensein unbekannt ist.
- Bezeichnung der gesamten Datei als „unbrauchbar“ zu pauschal.
- Quellenzuordnung der Zeilenzählung zu REP-001 noch zu prüfen.
### Bewertung
Teilweise bestanden.
Kernaussage korrekt; Korrekturvorschlag und Wortwahl benötigen
Präzisierung. Eine Quellenzuordnung bleibt offen.