Define AI analysis specification, prompt and evaluation cases

docs/ai-evaluation-v1.md

@@ -0,0 +1,57 @@
+# Manuelle Bewertung der KI-Fehleranalyse – Version 1
+
+Grundlage:
+- invoice-interface-v1.md
+- ai-analysis-prompt.md
+- Jeweils ein gespeicherter ImportAssist-Prüfbericht
+
+## Fall A: Completed mit fachlichen Fehlern
+
+Eingabe:
+Fünf geprüfte Rechnungen, eine gültig, vier fehlerhaft.
+
+Die Antwort muss:
+- Completed als abgeschlossene Prüfung einordnen.
+- Die vier fehlerhaften Rechnungen mit ihren Befunden erklären.
+- Die gemeldeten Fehler passenden Regelkennungen zuordnen.
+- Fehlende Informationen für die Korrektur benennen.
+- Die gültige Rechnung ohne zusätzliche Fehlerbewertung lassen.
+
+Die Antwort darf nicht:
+- Kundennummern, Rechnungsnummern oder Beträge erfinden.
+- Einen konkreten ursprünglichen Betrag behaupten.
+- Ohne Beleg zwischen Nullbetrag und negativem Betrag unterscheiden.
+- Eine gültige Währung oder existierende Kunden bestätigen.
+
+## Fall B: Rejected wegen CSV-Struktur
+
+Eingabe:
+Status Rejected, leere rows, alle Zähler null.
+fileErrors meldet für Zeile 3:
+„Erwartet werden vier Spalten ohne Anführungszeichen.“
+
+Die Antwort muss:
+- Die Abweisung der gesamten Datei erklären.
+- Auf CSV-Zeile 3 verweisen.
+- CSV-001 und REP-001 passend heranziehen.
+- Klarstellen, dass keine fachliche Rechnungsprüfung stattfand.
+- Die Prüfung der Originalzeile und erneute Verarbeitung empfehlen.
+
+Die Antwort darf nicht:
+- Die Datei aufgrund der Nullzähler als fehlerfrei bezeichnen.
+- Einzelne Rechnungen fachlich bewerten.
+- Behaupten, welche konkrete Spalte fehlt.
+- Behaupten, ob zu wenige Spalten, zu viele Spalten oder
+  Anführungszeichen die Ursache waren.
+
+## Bewertung
+
+Für jede Antwort prüfen:
+1. Stimmen alle Aussagen mit den bereitgestellten Quellen überein?
+2. Passen die Regelverweise?
+3. Sind die nächsten Prüfschritte konkret und zulässig?
+4. Werden Informationslücken ausdrücklich benannt?
+
+Erster manueller Durchlauf:
+Beide Fälle anhand der Antworten im Lernchat geprüft.
+Kein automatisierter Modelltest und kein Nachweis wiederholbarer Qualität.