Add C# Azure AI analysis tool and document evaluation runs

This commit is contained in:
admin committed 2026-09-10 11:24:45 +02:00
1 parent 1d9011faa8
commit 12bc2a1822
5 files changed
+236 -1

No files matched your search

+40 -1
View File
@@ -135,4 +135,43 @@ Dateistrukturfehler in Zeile 3.
### Bewertung
Teilweise bestanden.
Kernaussage korrekt; Korrekturvorschlag und Wortwahl benötigen
Präzisierung. Eine Quellenzuordnung bleibt offen.
Präzisierung. Eine Quellenzuordnung bleibt offen.
## C#-Testläufe vom 10.09.2026
### Konfiguration
- Tool: ImportAssist.Analyze
- SDK: .NET 10.0.112
- Azure.AI.OpenAI: 2.1.0
- Modell: gpt-4.1-mini, Version 2025-04-14
- Bereitstellung: importassist-analysis
- Eingaben: aktueller Analyseprompt, Schnittstellenspezifikation
und jeweiliger JSON-Prüfbericht
- Maximale Ausgabetokens: 2000
- Jeder Aufruf ohne vorherigen Chatverlauf und ohne Tools
### Completed-Bericht
- Fehlerzeilen und Regelkennungen korrekt zugeordnet.
- Keine unbelegte Importfreigabe.
- Währung korrekt als ungeprüft behandelt.
- Ungenaue Formulierung: Nur eine Rechnung sei „validiert worden“.
Tatsächlich wurden fünf geprüft; eine bestand die Prüfregeln.
- Gutschrift als möglicher Prüfansatz erwähnt, nicht als Tatsache.
- Tokenverbrauch: 1434 Eingabe, 605 Ausgabe.
Bewertung: teilweise bestanden; sprachliche Unschärfe verbleibt.
### Rejected-Bericht
- Strukturfehler in Zeile 3 korrekt CSV-001 zugeordnet.
- Ausgebliebene fachliche Prüfung korrekt erklärt.
- Keine konkrete fehlende Spalte erfunden.
- Originalinhalt der betroffenen Zeile als fehlende Information benannt.
- Prüfung der Quelldaten statt unbegründeter Korrektur empfohlen.
- Tokenverbrauch: 1202 Eingabe, 426 Ausgabe.
Bewertung: für diesen Testlauf bestanden.
### Grenzen
Je ein manueller C#-Testlauf pro Fall.
Keine Aussage über zuverlässige Wiederholbarkeit oder andere Eingaben.
Die Antworten werden bislang als Freitext ausgegeben und manuell geprüft.