Add C# Azure AI analysis tool and document evaluation runs
This commit is contained in:
1 parent
1d9011faa8
commit
12bc2a1822
5 files changed
+236
-1
No files matched your search
@@ -135,4 +135,43 @@ Dateistrukturfehler in Zeile 3.
|
||||
### Bewertung
|
||||
Teilweise bestanden.
|
||||
Kernaussage korrekt; Korrekturvorschlag und Wortwahl benötigen
|
||||
Präzisierung. Eine Quellenzuordnung bleibt offen.
|
||||
Präzisierung. Eine Quellenzuordnung bleibt offen.
|
||||
|
||||
## C#-Testläufe vom 10.09.2026
|
||||
|
||||
### Konfiguration
|
||||
- Tool: ImportAssist.Analyze
|
||||
- SDK: .NET 10.0.112
|
||||
- Azure.AI.OpenAI: 2.1.0
|
||||
- Modell: gpt-4.1-mini, Version 2025-04-14
|
||||
- Bereitstellung: importassist-analysis
|
||||
- Eingaben: aktueller Analyseprompt, Schnittstellenspezifikation
|
||||
und jeweiliger JSON-Prüfbericht
|
||||
- Maximale Ausgabetokens: 2000
|
||||
- Jeder Aufruf ohne vorherigen Chatverlauf und ohne Tools
|
||||
|
||||
### Completed-Bericht
|
||||
- Fehlerzeilen und Regelkennungen korrekt zugeordnet.
|
||||
- Keine unbelegte Importfreigabe.
|
||||
- Währung korrekt als ungeprüft behandelt.
|
||||
- Ungenaue Formulierung: Nur eine Rechnung sei „validiert worden“.
|
||||
Tatsächlich wurden fünf geprüft; eine bestand die Prüfregeln.
|
||||
- Gutschrift als möglicher Prüfansatz erwähnt, nicht als Tatsache.
|
||||
- Tokenverbrauch: 1434 Eingabe, 605 Ausgabe.
|
||||
|
||||
Bewertung: teilweise bestanden; sprachliche Unschärfe verbleibt.
|
||||
|
||||
### Rejected-Bericht
|
||||
- Strukturfehler in Zeile 3 korrekt CSV-001 zugeordnet.
|
||||
- Ausgebliebene fachliche Prüfung korrekt erklärt.
|
||||
- Keine konkrete fehlende Spalte erfunden.
|
||||
- Originalinhalt der betroffenen Zeile als fehlende Information benannt.
|
||||
- Prüfung der Quelldaten statt unbegründeter Korrektur empfohlen.
|
||||
- Tokenverbrauch: 1202 Eingabe, 426 Ausgabe.
|
||||
|
||||
Bewertung: für diesen Testlauf bestanden.
|
||||
|
||||
### Grenzen
|
||||
Je ein manueller C#-Testlauf pro Fall.
|
||||
Keine Aussage über zuverlässige Wiederholbarkeit oder andere Eingaben.
|
||||
Die Antworten werden bislang als Freitext ausgegeben und manuell geprüft.
|
||||
Reference in new issue
Block a user