问题
LLM 擅长生成文本,但应用通常需要结构化数据——JSON 对象、数组、类型化值。获取可靠的结构化输出需要特定技术。
方法 1:提示词工程
要求模型以 JSON 格式回复:
- 在提示中指定确切 schema。
- 包含示例输入/输出对。
- 添加「只回复有效 JSON,不要解释。」
方法 2:函数调用/工具使用
主要 API 现在支持函数调用:
- 定义预期输出的 JSON schema。
- 模型被约束为输出匹配 schema。
- 适用于 OpenAI、Anthropic、Google 及多数服务商。
方法 3:约束解码
Outlines 和 LMQL 等库强制模型产生有效输出:
- 定义 Pydantic 模型或 JSON schema。
- 解码过程逐 token 强制执行 schema。
- 输出结构 100% 合法。
方法 4:Instructor 库
Instructor 库用 Pydantic 验证包装任何 LLM API:
- 用 Pydantic 定义数据模型。
- Instructor 自动处理重试和验证。
- 支持 OpenAI、Anthropic、Gemini 和本地模型。
最佳实践
- 始终对照 schema 验证输出。
- 对有限选项使用枚举类型。
- 对格式错误的响应包含重试逻辑。
- 保持 schema 简单——嵌套结构会增加错误率。
- 用 50+ 个示例测试以衡量可靠性。
实用模式
获取结构化输出最可靠的方式是在系统提示词中结合清晰的 schema 定义和少样本示例。展示 2–3 个你想要格式的输入/输出对。OpenAI 模型使用 response_format 参数配合 JSON schema。Claude 使用 tool_use API 强制结构化响应。
常见坑
- Schema 复杂度:保持 schema 扁平简单。深层嵌套对象增加错误率。
- 验证:使用前始终验证输出是否符合 schema。LLM 偶尔产生无效 JSON。
- 枚举处理:使用枚举时在提示词中包含所有有效值。模型有时会编造不存在的值。
- 转义:JSON 字符串内的 JSON 是常见 bug 来源。使用正确转义或外层改用 YAML。
能约束解码就约束解码
现在每个服务商都提供某种语法约束或 schema 约束的解码,只要可用,它就严格优于「礼貌地请求 JSON」。差别不在格式正确率,而在于它消灭了修复循环。一个在结构上无法输出未闭合括号的模型,替你省掉了重试、截断处理和那个你本来还得测试的解析异常分支。
在无法约束的场合,就要求尽可能小的对象,并在使用前校验。无约束 JSON 的失败模式不是语法错误,而是「合法 JSON 但类型错了」、「多了一个意料之外的字段」,或「你要求字符串的地方给了 null」。
为模型设计 schema,而不是为数据库设计
十四个必填字段加嵌套 union 的 schema,比四个扁平字段的 schema 产生更多错误,即便数据库那一版才是你真正想存的。务实的中间路线是:让模型输出一个小的中间形状,再由你的代码映射到存储 schema。那段映射是几行普通代码,不依赖模型就能测,而且它剥夺了模型违反你不变量的能力。
可选字段要特别小心。标为可选的字段,等于教会模型「省略是可以的」,而它恰恰会在取值难以确定时省略——而那正是你最需要证据的情况。当你需要区分「未知」和「不适用」时,宁可用显式的哨兵值,而不要用缺失。
先校验,再修复一次
校验失败时,把具体错误附上去重试,而不是只把原始输出重发一遍。带上失败的确切路径。一次有针对性的重试能解决多数失败;盲目重试通常会复现同一个错误。第二次失败后就该让请求失败而不是循环,并把两次尝试都记录下来,因为这一对结果是你关于提示词最有用的证据。