Add structured AI analysis output and invoice ID validation
This commit is contained in:
1 parent
12bc2a1822
commit
5b697ee200
8 files changed
+298
-16
No files matched your search
@@ -174,4 +174,42 @@ Bewertung: für diesen Testlauf bestanden.
|
||||
### Grenzen
|
||||
Je ein manueller C#-Testlauf pro Fall.
|
||||
Keine Aussage über zuverlässige Wiederholbarkeit oder andere Eingaben.
|
||||
Die Antworten werden bislang als Freitext ausgegeben und manuell geprüft.
|
||||
Die Antworten werden bislang als Freitext ausgegeben und manuell geprüft.
|
||||
|
||||
## Strukturierte C#-Testläufe vom 11.09.2026
|
||||
|
||||
### Konfiguration
|
||||
- Modellbereitstellung: importassist-analysis
|
||||
- Antwortschema: docs/ai-analysis.schema.json
|
||||
- Structured Outputs mit aktiviertem strikten Modus
|
||||
- Deserialisierung in InvoiceAnalysis und AnalysisFinding
|
||||
- Maximale Ausgabetokens: 2000
|
||||
|
||||
### Completed-Bericht
|
||||
- JSON erfolgreich in C# eingelesen.
|
||||
- Sechs Befunde mit korrekten Zeilen und Regelkennungen.
|
||||
- limitations korrekt als Liste auf oberster Ebene.
|
||||
- Fehlende Rechnungsnummer in Zeile 6 als leerer String statt null.
|
||||
Das Schema erlaubt diesen String; die semantische Vorgabe wurde verletzt.
|
||||
- Empfehlung zur Änderung auf einen positiven Betrag zu pauschal.
|
||||
Der fachlich richtige Betrag muss zuerst anhand der Quelle geklärt werden.
|
||||
- Tokenverbrauch: 1894 Eingabe, 874 Ausgabe.
|
||||
|
||||
Bewertung: Struktur bestanden, fachliche Prüfung teilweise bestanden.
|
||||
|
||||
### Rejected-Bericht
|
||||
- JSON erfolgreich in C# eingelesen.
|
||||
- Genau ein Befund: CSV-001, Zeile 3, invoiceId null.
|
||||
- Keine konkrete Fehlerursache erfunden.
|
||||
- Fehlende Originalzeile und ausgebliebene fachliche Prüfung benannt.
|
||||
- Tokenverbrauch: 1662 Eingabe, 236 Ausgabe.
|
||||
|
||||
Bewertung: festgelegte Kriterien in diesem Lauf bestanden.
|
||||
|
||||
### Offene Punkte
|
||||
- Leere oder ausschließlich aus Leerzeichen bestehende invoiceId
|
||||
zusätzlich in C# zurückweisen; bei fehlender Nummer ist null vorgesehen.
|
||||
- Korrekturvorschläge müssen den fachlich richtigen Quellwert respektieren.
|
||||
- Ablehnungen, abgebrochene Antworten und ungültige Antwortstrukturen
|
||||
werden im Code behandelt, wurden aber noch nicht gezielt getestet.
|
||||
- Einzelne erfolgreiche Läufe belegen keine zuverlässige Wiederholbarkeit.
|
||||
Reference in new issue
Block a user