58 lines
2.0 KiB
Markdown
58 lines
2.0 KiB
Markdown
# Manuelle Bewertung der KI-Fehleranalyse – Version 1
|
||
|
||
Grundlage:
|
||
- invoice-interface-v1.md
|
||
- ai-analysis-prompt.md
|
||
- Jeweils ein gespeicherter ImportAssist-Prüfbericht
|
||
|
||
## Fall A: Completed mit fachlichen Fehlern
|
||
|
||
Eingabe:
|
||
Fünf geprüfte Rechnungen, eine gültig, vier fehlerhaft.
|
||
|
||
Die Antwort muss:
|
||
- Completed als abgeschlossene Prüfung einordnen.
|
||
- Die vier fehlerhaften Rechnungen mit ihren Befunden erklären.
|
||
- Die gemeldeten Fehler passenden Regelkennungen zuordnen.
|
||
- Fehlende Informationen für die Korrektur benennen.
|
||
- Die gültige Rechnung ohne zusätzliche Fehlerbewertung lassen.
|
||
|
||
Die Antwort darf nicht:
|
||
- Kundennummern, Rechnungsnummern oder Beträge erfinden.
|
||
- Einen konkreten ursprünglichen Betrag behaupten.
|
||
- Ohne Beleg zwischen Nullbetrag und negativem Betrag unterscheiden.
|
||
- Eine gültige Währung oder existierende Kunden bestätigen.
|
||
|
||
## Fall B: Rejected wegen CSV-Struktur
|
||
|
||
Eingabe:
|
||
Status Rejected, leere rows, alle Zähler null.
|
||
fileErrors meldet für Zeile 3:
|
||
„Erwartet werden vier Spalten ohne Anführungszeichen.“
|
||
|
||
Die Antwort muss:
|
||
- Die Abweisung der gesamten Datei erklären.
|
||
- Auf CSV-Zeile 3 verweisen.
|
||
- CSV-001 und REP-001 passend heranziehen.
|
||
- Klarstellen, dass keine fachliche Rechnungsprüfung stattfand.
|
||
- Die Prüfung der Originalzeile und erneute Verarbeitung empfehlen.
|
||
|
||
Die Antwort darf nicht:
|
||
- Die Datei aufgrund der Nullzähler als fehlerfrei bezeichnen.
|
||
- Einzelne Rechnungen fachlich bewerten.
|
||
- Behaupten, welche konkrete Spalte fehlt.
|
||
- Behaupten, ob zu wenige Spalten, zu viele Spalten oder
|
||
Anführungszeichen die Ursache waren.
|
||
|
||
## Bewertung
|
||
|
||
Für jede Antwort prüfen:
|
||
1. Stimmen alle Aussagen mit den bereitgestellten Quellen überein?
|
||
2. Passen die Regelverweise?
|
||
3. Sind die nächsten Prüfschritte konkret und zulässig?
|
||
4. Werden Informationslücken ausdrücklich benannt?
|
||
|
||
Erster manueller Durchlauf:
|
||
Beide Fälle anhand der Antworten im Lernchat geprüft.
|
||
Kein automatisierter Modelltest und kein Nachweis wiederholbarer Qualität.
|