Add structured AI analysis output and invoice ID validation

This commit is contained in:
admin committed 2026-09-11 14:33:31 +02:00
1 parent 12bc2a1822
commit 5b697ee200
8 files changed
+298 -16

No files matched your search

+39 -1
View File
@@ -174,4 +174,42 @@ Bewertung: für diesen Testlauf bestanden.
### Grenzen
Je ein manueller C#-Testlauf pro Fall.
Keine Aussage über zuverlässige Wiederholbarkeit oder andere Eingaben.
Die Antworten werden bislang als Freitext ausgegeben und manuell geprüft.
Die Antworten werden bislang als Freitext ausgegeben und manuell geprüft.
## Strukturierte C#-Testläufe vom 11.09.2026
### Konfiguration
- Modellbereitstellung: importassist-analysis
- Antwortschema: docs/ai-analysis.schema.json
- Structured Outputs mit aktiviertem strikten Modus
- Deserialisierung in InvoiceAnalysis und AnalysisFinding
- Maximale Ausgabetokens: 2000
### Completed-Bericht
- JSON erfolgreich in C# eingelesen.
- Sechs Befunde mit korrekten Zeilen und Regelkennungen.
- limitations korrekt als Liste auf oberster Ebene.
- Fehlende Rechnungsnummer in Zeile 6 als leerer String statt null.
Das Schema erlaubt diesen String; die semantische Vorgabe wurde verletzt.
- Empfehlung zur Änderung auf einen positiven Betrag zu pauschal.
Der fachlich richtige Betrag muss zuerst anhand der Quelle geklärt werden.
- Tokenverbrauch: 1894 Eingabe, 874 Ausgabe.
Bewertung: Struktur bestanden, fachliche Prüfung teilweise bestanden.
### Rejected-Bericht
- JSON erfolgreich in C# eingelesen.
- Genau ein Befund: CSV-001, Zeile 3, invoiceId null.
- Keine konkrete Fehlerursache erfunden.
- Fehlende Originalzeile und ausgebliebene fachliche Prüfung benannt.
- Tokenverbrauch: 1662 Eingabe, 236 Ausgabe.
Bewertung: festgelegte Kriterien in diesem Lauf bestanden.
### Offene Punkte
- Leere oder ausschließlich aus Leerzeichen bestehende invoiceId
zusätzlich in C# zurückweisen; bei fehlender Nummer ist null vorgesehen.
- Korrekturvorschläge müssen den fachlich richtigen Quellwert respektieren.
- Ablehnungen, abgebrochene Antworten und ungültige Antwortstrukturen
werden im Code behandelt, wurden aber noch nicht gezielt getestet.
- Einzelne erfolgreiche Läufe belegen keine zuverlässige Wiederholbarkeit.