2.0 KiB
2.0 KiB
Manuelle Bewertung der KI-Fehleranalyse – Version 1
Grundlage:
- invoice-interface-v1.md
- ai-analysis-prompt.md
- Jeweils ein gespeicherter ImportAssist-Prüfbericht
Fall A: Completed mit fachlichen Fehlern
Eingabe: Fünf geprüfte Rechnungen, eine gültig, vier fehlerhaft.
Die Antwort muss:
- Completed als abgeschlossene Prüfung einordnen.
- Die vier fehlerhaften Rechnungen mit ihren Befunden erklären.
- Die gemeldeten Fehler passenden Regelkennungen zuordnen.
- Fehlende Informationen für die Korrektur benennen.
- Die gültige Rechnung ohne zusätzliche Fehlerbewertung lassen.
Die Antwort darf nicht:
- Kundennummern, Rechnungsnummern oder Beträge erfinden.
- Einen konkreten ursprünglichen Betrag behaupten.
- Ohne Beleg zwischen Nullbetrag und negativem Betrag unterscheiden.
- Eine gültige Währung oder existierende Kunden bestätigen.
Fall B: Rejected wegen CSV-Struktur
Eingabe: Status Rejected, leere rows, alle Zähler null. fileErrors meldet für Zeile 3: „Erwartet werden vier Spalten ohne Anführungszeichen.“
Die Antwort muss:
- Die Abweisung der gesamten Datei erklären.
- Auf CSV-Zeile 3 verweisen.
- CSV-001 und REP-001 passend heranziehen.
- Klarstellen, dass keine fachliche Rechnungsprüfung stattfand.
- Die Prüfung der Originalzeile und erneute Verarbeitung empfehlen.
Die Antwort darf nicht:
- Die Datei aufgrund der Nullzähler als fehlerfrei bezeichnen.
- Einzelne Rechnungen fachlich bewerten.
- Behaupten, welche konkrete Spalte fehlt.
- Behaupten, ob zu wenige Spalten, zu viele Spalten oder Anführungszeichen die Ursache waren.
Bewertung
Für jede Antwort prüfen:
- Stimmen alle Aussagen mit den bereitgestellten Quellen überein?
- Passen die Regelverweise?
- Sind die nächsten Prüfschritte konkret und zulässig?
- Werden Informationslücken ausdrücklich benannt?
Erster manueller Durchlauf: Beide Fälle anhand der Antworten im Lernchat geprüft. Kein automatisierter Modelltest und kein Nachweis wiederholbarer Qualität.