Document first Azure AI evaluation runs and refine analysis prompt

docs/ai-analysis-prompt.md

@@ -33,3 +33,18 @@ Antworte auf Deutsch:
 
 Wenn eine Erklärung nicht durch die Quellen gedeckt ist,
 benenne diese Grenze ausdrücklich.
+
+„Completed“ bedeutet ausschließlich, dass die Prüfung abgeschlossen wurde.
+Leite daraus keine Importfreigabe ab. Ob ein Teilimport zulässig ist,
+ist ohne ausdrückliche Regel unbekannt.
+
+„isValid: true“ bedeutet nur, dass die implementierten Prüfregeln
+bestanden wurden. Bezeichne eine Rechnung deshalb nicht uneingeschränkt
+als fehlerfrei oder fachlich vollständig gültig.
+
+Verwende für isValid=true die Formulierung:
+„Die Rechnung hat die implementierten Prüfregeln bestanden.“
+
+Nicht geprüfte Eigenschaften sind unbekannt.
+Insbesondere erlaubt die fehlende Währungsprüfung keine Aussage
+darüber, ob die Währung korrekt oder fehlerhaft ist.

docs/ai-evaluation-v1.md

@@ -55,3 +55,84 @@ Für jede Antwort prüfen:
 Erster manueller Durchlauf:
 Beide Fälle anhand der Antworten im Lernchat geprüft.
 Kein automatisierter Modelltest und kein Nachweis wiederholbarer Qualität.
+
+## Testlauf vom 09.09.2026 – Completed mit fachlichen Fehlern
+
+### Konfiguration
+- Modell: gpt-4.1-mini
+- Modellversion: 2025-04-14
+- Bereitstellung: importassist-analysis (Global Standard)
+- Durchführung: manuell im Foundry-Playground
+- Quellen: invoice-interface-v1.md und invoices-report.json
+- Anweisungen: ai-analysis-prompt.md vor der heutigen Ergänzung
+- Websuche: deaktiviert
+
+### Eingabe
+Prüfbericht mit Status Completed:
+5 Rechnungen, davon 1 gültig und 4 fehlerhaft.
+Keine Dateistrukturfehler.
+
+### Erwartung
+- Mengen, Zeilen und Regelkennungen korrekt wiedergeben.
+- Completed als abgeschlossene Prüfung erklären.
+- Keine Importfreigabe oder Erlaubnis zum Teilimport ableiten.
+- Gültigkeit auf die implementierten Prüfregeln begrenzen.
+- Keine ursprünglichen Beträge oder Ersatzwerte erfinden.
+
+### Beobachtung
+- Mengen, betroffene Zeilen und Regelkennungen korrekt erkannt.
+- Prüfschritte mit Bezug auf Quelldaten vorgeschlagen.
+- Keine konkreten Ersatzwerte erfunden.
+- Unbelegte Aussage: „Datei insgesamt importierbar“.
+- Zu umfassende Aussage: INV-001 sei „fehlerfrei“.
+
+### Bewertung
+Teilweise bestanden.
+
+Die Antwort enthält eine unbelegte Importfreigabe und stellt die
+Aussagekraft der implementierten Prüfregeln zu umfassend dar.
+
+### Anpassung
+Anweisungen um zwei Klarstellungen ergänzt:
+- Completed bedeutet keine Importfreigabe.
+- isValid gilt ausschließlich für die implementierten Prüfregeln.
+
+### Wiederholung
+Noch offen. Dieselbe Eingabe in einem neuen Chat mit den ergänzten
+Anweisungen testen und das Ergebnis hier dokumentieren.
+
+### Wiederholung 2 mit präzisierten Anweisungen
+- Mengen, Fehler und Regelkennungen korrekt wiedergegeben.
+- Keine unbelegte Importfreigabe.
+- Aussagekraft der Prüfung eingeschränkt; Währung als ungeprüft benannt.
+- Gewünschte Formulierung für isValid=true nicht wörtlich übernommen.
+- Ungenaue Bezeichnung „keine Rechnung“ statt „Rechnungsnummer fehlt“.
+- Gutschrift als mögliche Ursache angesprochen, ohne sie ausdrücklich
+  als unbelegte Hypothese zu kennzeichnen.
+
+Bewertung: teilweise bestanden; wesentliche frühere Fehler behoben.
+Verbleibende sprachliche und fachliche Unschärfen dokumentiert.
+Ein einzelner Lauf belegt noch keine zuverlässige Wiederholbarkeit.
+
+## Testlauf vom 09.09.2026 – Rejected wegen Strukturfehler
+
+### Eingabe
+Prüfbericht mit Status Rejected, leeren rows und einem
+Dateistrukturfehler in Zeile 3.
+
+### Beobachtung
+- Status Rejected und fehlende fachliche Prüfung korrekt erklärt.
+- Zeile 3 korrekt als zweite Datenzeile eingeordnet.
+- Strukturfehler korrekt CSV-001 zugeordnet.
+- Keine bestimmte fehlende Spalte erfunden.
+- Mögliche Fehlerursachen ausdrücklich offengelassen.
+- Keine Behauptung, die Datei enthalte null Rechnungen.
+- Entfernen von Anführungszeichen zu konkret empfohlen,
+  obwohl deren Vorhandensein unbekannt ist.
+- Bezeichnung der gesamten Datei als „unbrauchbar“ zu pauschal.
+- Quellenzuordnung der Zeilenzählung zu REP-001 noch zu prüfen.
+
+### Bewertung
+Teilweise bestanden.
+Kernaussage korrekt; Korrekturvorschlag und Wortwahl benötigen
+Präzisierung. Eine Quellenzuordnung bleibt offen.