# Manuelle Bewertung der KI-Fehleranalyse – Version 1

Grundlage:
- invoice-interface-v1.md
- ai-analysis-prompt.md
- Jeweils ein gespeicherter ImportAssist-Prüfbericht

## Fall A: Completed mit fachlichen Fehlern

Eingabe:
Fünf geprüfte Rechnungen, eine gültig, vier fehlerhaft.

Die Antwort muss:
- Completed als abgeschlossene Prüfung einordnen.
- Die vier fehlerhaften Rechnungen mit ihren Befunden erklären.
- Die gemeldeten Fehler passenden Regelkennungen zuordnen.
- Fehlende Informationen für die Korrektur benennen.
- Die gültige Rechnung ohne zusätzliche Fehlerbewertung lassen.

Die Antwort darf nicht:
- Kundennummern, Rechnungsnummern oder Beträge erfinden.
- Einen konkreten ursprünglichen Betrag behaupten.
- Ohne Beleg zwischen Nullbetrag und negativem Betrag unterscheiden.
- Eine gültige Währung oder existierende Kunden bestätigen.

## Fall B: Rejected wegen CSV-Struktur

Eingabe:
Status Rejected, leere rows, alle Zähler null.
fileErrors meldet für Zeile 3:
„Erwartet werden vier Spalten ohne Anführungszeichen.“

Die Antwort muss:
- Die Abweisung der gesamten Datei erklären.
- Auf CSV-Zeile 3 verweisen.
- CSV-001 und REP-001 passend heranziehen.
- Klarstellen, dass keine fachliche Rechnungsprüfung stattfand.
- Die Prüfung der Originalzeile und erneute Verarbeitung empfehlen.

Die Antwort darf nicht:
- Die Datei aufgrund der Nullzähler als fehlerfrei bezeichnen.
- Einzelne Rechnungen fachlich bewerten.
- Behaupten, welche konkrete Spalte fehlt.
- Behaupten, ob zu wenige Spalten, zu viele Spalten oder
  Anführungszeichen die Ursache waren.

## Bewertung

Für jede Antwort prüfen:
1. Stimmen alle Aussagen mit den bereitgestellten Quellen überein?
2. Passen die Regelverweise?
3. Sind die nächsten Prüfschritte konkret und zulässig?
4. Werden Informationslücken ausdrücklich benannt?

Erster manueller Durchlauf:
Beide Fälle anhand der Antworten im Lernchat geprüft.
Kein automatisierter Modelltest und kein Nachweis wiederholbarer Qualität.

## Testlauf vom 09.09.2026 – Completed mit fachlichen Fehlern

### Konfiguration
- Modell: gpt-4.1-mini
- Modellversion: 2025-04-14
- Bereitstellung: importassist-analysis (Global Standard)
- Durchführung: manuell im Foundry-Playground
- Quellen: invoice-interface-v1.md und invoices-report.json
- Anweisungen: ai-analysis-prompt.md vor der heutigen Ergänzung
- Websuche: deaktiviert

### Eingabe
Prüfbericht mit Status Completed:
5 Rechnungen, davon 1 gültig und 4 fehlerhaft.
Keine Dateistrukturfehler.

### Erwartung
- Mengen, Zeilen und Regelkennungen korrekt wiedergeben.
- Completed als abgeschlossene Prüfung erklären.
- Keine Importfreigabe oder Erlaubnis zum Teilimport ableiten.
- Gültigkeit auf die implementierten Prüfregeln begrenzen.
- Keine ursprünglichen Beträge oder Ersatzwerte erfinden.

### Beobachtung
- Mengen, betroffene Zeilen und Regelkennungen korrekt erkannt.
- Prüfschritte mit Bezug auf Quelldaten vorgeschlagen.
- Keine konkreten Ersatzwerte erfunden.
- Unbelegte Aussage: „Datei insgesamt importierbar“.
- Zu umfassende Aussage: INV-001 sei „fehlerfrei“.

### Bewertung
Teilweise bestanden.

Die Antwort enthält eine unbelegte Importfreigabe und stellt die
Aussagekraft der implementierten Prüfregeln zu umfassend dar.

### Anpassung
Anweisungen um zwei Klarstellungen ergänzt:
- Completed bedeutet keine Importfreigabe.
- isValid gilt ausschließlich für die implementierten Prüfregeln.

### Wiederholung
Noch offen. Dieselbe Eingabe in einem neuen Chat mit den ergänzten
Anweisungen testen und das Ergebnis hier dokumentieren.

### Wiederholung 2 mit präzisierten Anweisungen
- Mengen, Fehler und Regelkennungen korrekt wiedergegeben.
- Keine unbelegte Importfreigabe.
- Aussagekraft der Prüfung eingeschränkt; Währung als ungeprüft benannt.
- Gewünschte Formulierung für isValid=true nicht wörtlich übernommen.
- Ungenaue Bezeichnung „keine Rechnung“ statt „Rechnungsnummer fehlt“.
- Gutschrift als mögliche Ursache angesprochen, ohne sie ausdrücklich
  als unbelegte Hypothese zu kennzeichnen.

Bewertung: teilweise bestanden; wesentliche frühere Fehler behoben.
Verbleibende sprachliche und fachliche Unschärfen dokumentiert.
Ein einzelner Lauf belegt noch keine zuverlässige Wiederholbarkeit.

## Testlauf vom 09.09.2026 – Rejected wegen Strukturfehler

### Eingabe
Prüfbericht mit Status Rejected, leeren rows und einem
Dateistrukturfehler in Zeile 3.

### Beobachtung
- Status Rejected und fehlende fachliche Prüfung korrekt erklärt.
- Zeile 3 korrekt als zweite Datenzeile eingeordnet.
- Strukturfehler korrekt CSV-001 zugeordnet.
- Keine bestimmte fehlende Spalte erfunden.
- Mögliche Fehlerursachen ausdrücklich offengelassen.
- Keine Behauptung, die Datei enthalte null Rechnungen.
- Entfernen von Anführungszeichen zu konkret empfohlen,
  obwohl deren Vorhandensein unbekannt ist.
- Bezeichnung der gesamten Datei als „unbrauchbar“ zu pauschal.
- Quellenzuordnung der Zeilenzählung zu REP-001 noch zu prüfen.

### Bewertung
Teilweise bestanden.
Kernaussage korrekt; Korrekturvorschlag und Wortwahl benötigen
Präzisierung. Eine Quellenzuordnung bleibt offen.