Eine gute Playground-Session ist keine Evidenz
Generative Systeme lassen sich leicht demonstrieren: Menschen wählen kooperative Prompts und erkennen plausible Sprache schnell als Fortschritt. Produktionsverkehr ist anders. Eingaben sind unvollständig, Berechtigungen ändern sich, Quellen widersprechen sich, Werkzeuge fallen aus und Nutzer entdecken Pfade, die das Projektteam nicht erwartet hat.
Evaluation macht aus «es sah gut aus» einen Release-Entscheid. Microsoft Foundry bietet Evaluatoren, Tracing, Monitoring und eine Integration mit Application Insights. Die Organisation muss dennoch definieren, was Erfolg für ihren Workflow bedeutet.
Mit dem unterstützten Entscheid beginnen
Beginnen Sie nicht mit generischen Metriken. Formulieren Sie zuerst die operative Behauptung:
Aus einem freigegebenen Falldatensatz erstellt der Assistent einen belegten Entwurf, den eine qualifizierte Person akzeptieren oder korrigieren kann, ohne unbelegte Fakten einzuführen.
Diese Behauptung zeigt die nötige Evidenz: repräsentative Fälle, erwartete Quellenverwendung, verbotene Aussagen, Prüfaufwand, Latenz und Umgang mit Unsicherheit.
Wenn das System Aktionen ausführt, ergänzen Sie Anforderungen an Werkzeugauswahl, Argumentgenauigkeit, Autorisierung, Seiteneffekte und Wiederherstellung.
Ein repräsentatives Evaluationsset erstellen
Ein nützlicher Datensatz enthält mehr als typische Beispiele:
- häufige und wirtschaftlich wichtige Fälle;
- schwierige, aber gültige Fälle;
- unvollständige und widersprüchliche Eingaben;
- Anfragen, die abgelehnt oder eskaliert werden müssen;
- sensible Daten und Berechtigungsgrenzen;
- Werkzeug- und Abhängigkeitsfehler;
- bereits beobachtete Produktionsfehler.
Versionieren Sie den Datensatz und dokumentieren Sie den Zweck jedes Falls. Schützen Sie Testdaten mit derselben Sorgfalt wie Produktionsdaten. Synthetische Fälle können die Abdeckung erweitern, ersetzen aber keine von Fachpersonen kuratierten Beispiele aus dem echten Workflow.
Ein Portfolio von Messungen nutzen
Keine einzelne Kennzahl erfasst Produktionstauglichkeit. Kombinieren Sie verschiedene Evidenzformen:
Deterministische Prüfungen kontrollieren Schema, Quellenangaben, Pflichtfelder, verbotene Inhalte, numerische Grenzen und exakte Werkzeugargumente.
Aufgabenmetriken prüfen, ob das System die geschäftliche Arbeit erledigt. Sie sind häufig domänenspezifisch und benötigen menschliche Prüfung oder eigene Evaluatoren.
Qualitätsmetriken können Relevanz, Grounding, Kohärenz oder sprachliche Qualität bewerten. Eine flüssige Antwort kann trotzdem falsch sein; Schreibqualität ersetzt nie fachliche Korrektheit.
Sicherheitsmetriken testen schädliche Inhalte, Prompt-Angriffe, sensible Daten und richtlinienspezifische Risiken.
Agentenmetriken untersuchen Aufgabenerfüllung, Werkzeuggenauigkeit, Ablaufqualität und die Einhaltung des erlaubten Betriebsrahmens.
LLM-as-Judge-Evaluatoren sind nützlich, aber probabilistische Instrumente. Kalibrieren Sie diese gegen menschliche Urteile und untersuchen Sie Abweichungen.
Das Gate explizit machen
Definieren Sie die Kriterien vor der finalen Evaluation. Ein Release-Gate kann verlangen:
- keine kritischen Autorisierungs- oder Datengrenzenfehler;
- alle deterministischen Pflichtprüfungen bestanden;
- eine Mindestquote für wichtige Aufgaben;
- keine Regression oberhalb der vereinbarten Toleranz;
- akzeptable Latenz und Kosten unter repräsentativer Last;
- benannte Akzeptanz verbleibender bekannter Fehler.
Zeigen Sie Verteilungen und einzelne Fehler, nicht nur einen Durchschnitt. 95 Prozent können einen katastrophalen Fehler in den entscheidenden fünf Prozent verbergen.
Traces mit Evaluation verbinden
Verteilte Traces machen Modellaufrufe, Retrieval, Werkzeugaufrufe, Latenz und Abhängigkeiten eines mehrstufigen Ablaufs sichtbar. Nutzen Sie diese, um zu erklären, warum eine Evaluation scheiterte. Vielleicht lieferte Retrieval die falsche Quelle, ein Werkzeug erhielt einen ungültigen Bezeichner oder eine Instruktionsänderung beeinflusste den Entscheidungsweg.
Speichern Sie Anwendungs-, Prompt-, Agent-, Modell-, Werkzeug- und Datensatzversion mit jedem Lauf. Ohne Versionsbezug wird Vergleich zur Vermutung.
Nach dem Release weiterarbeiten
Produktionsbeobachtung sollte Betriebszustand und Qualitätssignale erfassen. Evaluieren Sie geeignete Stichproben innerhalb klarer Datenschutz- und Aufbewahrungsgrenzen. Alarmieren Sie bei bedeutenden Zuständen, nicht bei jeder statistischen Bewegung.
Übernehmen Sie bestätigte Vorfälle und wiederkehrende Fehlermuster in das Evaluationsset. Führen Sie das Gate erneut aus, wenn sich Prompts, Modelle, Retrieval, Werkzeuge, Richtlinien oder Anwendungslogik wesentlich ändern.
Evaluation ist ein Managementsystem
Das Ziel ist kein Dashboard voller Werte. Es ist eine wiederholbare Vereinbarung zwischen Geschäftsverantwortung, Fachpersonen, Engineering, Sicherheit und Betrieb darüber, was bereitgestellt werden darf.
Foundry liefert nützliche Evaluations- und Beobachtbarkeitsmechanismen. Produktionsvertrauen entsteht durch die Qualität der Fälle, Schwellen, Verantwortung und Verbesserungsschleife darum.
Offizielle Referenz
Microsoft beschreibt Evaluation, Monitoring, Tracing, Tests vor Produktion und kontinuierliche Evaluation in Beobachtbarkeit in generativer KI.