为什么评估重要
与传统软件不同,LLM 应用的输出是非确定性的。你不能只写单元测试——需要系统化评估。
关键指标
- 准确性:输出是否匹配预期答案?
- 相关性:回答是否切题且有用?
- 忠实度:回答是否忠于提供的上下文?
- 毒性:输出是否包含有害内容?
- 延迟:生成需要多长时间?
- 成本:每次请求的成本是多少?
评估方法
- 人工评估:金标准但缓慢昂贵。
- LLM 作为裁判:用强模型(如 GPT-6 Astra 或 Claude Sonnet 5.5)评分输出。
- 自动指标:BLEU、ROUGE 用于摘要;pass@k 用于代码。
- A/B 测试:用真实用户比较两个版本。
工具
- RAGAS:评估 RAG 管道。
- DeepEval:开源 LLM 评估框架,14+ 指标。
- LangSmith:LangChain 的追踪和评估平台。
- Braintrust:AI 产品评估和可观测性。
最佳实践
- 构建 100-500 个覆盖边界情况的评估数据集。
- 每次提示词变更时运行评估。
- 在仪表板中追踪指标变化。
- 设置质量门禁:分数低于阈值时阻止部署。
构建评估数据集
LLM 评估的基础是高质量测试集。目标 100–500 个样本,覆盖主要用例、边缘情况和失败模式。包括「简单」样本(必须通过)和「困难」样本(已知失败模式)。为每个样本标注期望输出或至少期望行为。
按任务类型的关键指标
- 问答/RAG:精确匹配、F1 分数和 LLM-as-judge(用当前前沿模型按 1–5 分评估相关性、准确性和完整性)。
- 摘要:ROUGE-L 衡量重叠度,加上 LLM-as-judge 评估连贯性和忠实度(摘要是否包含原文没有的信息?)。
- 分类:每类的精确率、召回率、F1。同时跟踪混淆矩阵以发现系统性误分类。
- 代码生成:Pass@k(代码是否通过单元测试?),加上人工审查代码风格和可维护性。
自动化与回归测试
把 LLM 评估当作单元测试。每次修改提示词、更新模型或调整配置时都运行评估套件。LangSmith、Braintrust 或自定义 pytest 脚本可自动化此流程。设置质量门禁:任何指标比基线下降超 5% 就阻止变更并调查。
从二十个例子开始,而不是两千个
最常见的评测错误是等一个大的标注数据集。二十个你真正读过、每个都配了你能接受答案的例子,对你决策的影响会超过两千个你没读过的抓取样本。从这里开始,拿它作为上线依据,只有当你在意的某种具体失败没有出现在集合里时,才去扩充它。
这个集合应当反映真实使用的分布,包括无聊的那些。二十个「有意思的问题」组成集合,测的是你处理有意思问题的能力,对占流量九成的例行问题一无所知。
给部件打分,而不是给感觉打分
开放式输出的端到端分数噪声大且难以据此行动。把流水线拆开:正确的上下文被检索到了吗?答案对该上下文是否忠实?格式是否合法?延迟是否可接受?每一项都有便宜的检查,且各自指向不同的修法。忠实性失败的系统需要更好的提示词;检索失败的需要换索引;格式失败的需要 schema 约束。单个数字区分不了。
裁判模型需要自己的校准
用模型当评分员是合理的,对开放式散文常常也是必要的,但裁判必须在你真正读过的一批样本上与人工标注做校准。测的是「一致率」,而不只是裁判给出的分数。固定裁判的版本,版本变了就重新校准,因为一个悄悄更新的裁判能让你的整个看板漂移。
把失败留下来
把每个失败样本连同产生它的输入存起来。几个月后,这个集合会成为项目里最有价值的资产,因为它是唯一编码了「你的系统到底哪里不行」的产物。
文中的模型名称已于 2026-11-10 对照 OpenAI 与 Anthropic 的官方文档核实。