Warum Bewertung wichtig ist
Im Gegensatz zu herkömmlicher Software haben LLM-Anwendungen nichtdeterministische Ausgaben. Man kann nicht einfach Unit-Tests schreiben – man braucht eine systematische Evaluation.
Wichtige Kennzahlen
- Genauigkeit: Entspricht das Ergebnis der erwarteten Antwort?
- Relevanz: Ist die Antwort thematisch und nützlich?
- Treue: Bleibt die Antwort im gegebenen Kontext?
- Toxizität: Enthält das Ergebnis schädliche Inhalte?
- Latenz: Wie lange dauert die Erzeugung?
- Kosten: Wie hoch sind die Kosten pro Anfrage?
Bewertungsansätze
- Menschliche Bewertung: Goldstandard, aber langsam und teuer.
- LLM-als-Richter: Verwende ein starkes Modell (zum Beispiel GPT-6 Astra oder Claude Sonnet 5.5) zur Bewertung der Ergebnisse.
- Automatisierte Metriken: BLEU, ROUGE für Zusammenfassungen; pass@k für Code.
- A/B-Test: Vergleiche zwei Versionen mit echten Nutzern.
Werkzeuge
- RAGAS: Bewertet RAG-Pipelines (Treue, Relevanz, Abruf).
- DeepEval: Open-Source-LLM-Bewertungsrahmen mit 14+ Metriken.
- LangSmith: Verfolgungs- und Bewertungsplattform von LangChain.
- Braintrust: Bewertung und Beobachtbarkeit von KI-Produkten.
Best Practices
- Erstelle einen Eval-Datensatz mit 100–500 Beispielen, die Randfälle abdecken.
- Führe Bewertungen bei jeder Änderung des Prompts durch.
- Verfolge Kennzahlen über die Zeit in einem Dashboard.
- Setze Qualitätsgatter: Blockieren von Deployments, wenn die Werte unter die Schwelle fallen.
Einen Evaluationsdatensatz aufbauen
Die Grundlage jeder LLM-Evaluation ist ein hochwertiger Testsatz. Ziele auf 100-500 Beispiele ab, die deine wichtigsten Anwendungsfälle, Randfälle und Fehlermodi abdecken. Nimm sowohl „einfache“ Fälle auf (die immer bestehen sollten) als auch „schwierige“ Fälle (bekannte Fehlermodi). Beschrifte jedes Beispiel mit der erwarteten Ausgabe oder zumindest dem erwarteten Verhalten.
Wichtige Kennzahlen nach Aufgabentyp
- Fragen und Antworten / RAG: exakte Übereinstimmung, F1-Score und LLM-as-Judge (nutze ein aktuelles Frontier-Modell, um Antworten auf einer Skala von 1-5 nach Relevanz, Genauigkeit und Vollständigkeit zu bewerten).
- Zusammenfassung: ROUGE-L für die Überlappung, plus LLM-as-Judge für Kohärenz und Treue (enthält die Zusammenfassung Informationen, die nicht in der Quelle stehen?).
- Klassifikation: Precision, Recall und F1 pro Klasse. Verfolge außerdem die Konfusionsmatrix, um systematische Fehlklassifikationen zu finden.
- Codegenerierung: Pass@k (besteht der Code die Unit-Tests?), plus menschliche Prüfung von Stil und Wartbarkeit.
Automatisierung und Regressionstests
Behandle die LLM-Evaluation wie Unit-Tests. Führe deine Eval-Suite bei jeder Prompt-Änderung, Modellaktualisierung oder Konfigurationsanpassung aus. Werkzeuge wie LangSmith, Braintrust oder eigene Skripte mit pytest können das automatisieren. Setze ein Qualitätsgate: Wenn eine Kennzahl um mehr als 5 % gegenüber der Baseline fällt, blockiere die Änderung und untersuche sie.
Beginne mit zwanzig Beispielen, nicht mit zweitausend
Der häufigste Evaluationsfehler ist, auf einen großen gelabelten Datensatz zu warten. Zwanzig Beispiele, die du tatsächlich gelesen hast, jeweils mit der Antwort, die du akzeptieren würdest, ändern deine Entscheidungen mehr als zweitausend gescrapte, die du nicht gelesen hast. Beginne dort, liefere dagegen aus, und vergrößere es nur, wenn ein konkreter Fehler, der dir wichtig ist, im Set nicht vorkommt.
Das Set sollte die Verteilung echter Nutzung abbilden, einschließlich der langweiligen Fälle. Ein Set aus zwanzig interessanten Fragen misst, wie gut du interessante Fragen behandelst, und sagt nichts über die neunzig Prozent des Traffics, der Routine ist.
Bewerte die Komponente, nicht das Gefühl
End-to-End-Scores auf offener Ausgabe sind verrauscht und schwer handhabbar. Zerlege die Pipeline: Wurde der richtige Kontext abgerufen, war die Antwort diesem Kontext treu, war das Format gültig, war die Latenz akzeptabel? Jede hat eine billige Prüfung, und jede zeigt auf eine andere Korrektur. Ein System, das bei Treue scheitert, braucht einen besseren Prompt; eines, das beim Retrieval scheitert, einen anderen Index; eines, das am Format scheitert, eine Schema-Constraint. Eine einzelne Zahl kann sie nicht unterscheiden.
Richter-Modelle brauchen ihre eigene Kalibrierung
Ein Modell als Bewerter zu nutzen ist vernünftig und für offene Prosa oft nötig, aber der Richter muss gegen menschliche Labels an einer Stichprobe kalibriert werden, die du tatsächlich gelesen hast. Miss die Übereinstimmung, nicht nur die Scores des Richters. Fixiere die Version des Richters und prüfe die Kalibrierung neu, wenn sie sich ändert, denn ein still aktualisierter Richter kann dein ganzes Dashboard verschieben.
Behalte die Fehler
Speichere jedes gescheiterte Beispiel mit der Eingabe, die es erzeugt hat. Über Monate wird diese Sammlung zum wertvollsten Asset des Projekts, denn sie ist das einzige Artefakt, das kodiert, worin dein System tatsächlich schlecht ist.
Die Modellnamen wurden am 2026-11-10 mit der offiziellen Dokumentation von OpenAI und Anthropic abgeglichen.