问题

LLM 擅长生成文本,但应用通常需要结构化数据——JSON 对象、数组、类型化值。获取可靠的结构化输出需要特定技术。

方法 1:提示词工程

要求模型以 JSON 格式回复:

  • 在提示中指定确切 schema。
  • 包含示例输入/输出对。
  • 添加「只回复有效 JSON,不要解释。」

方法 2:函数调用/工具使用

主要 API 现在支持函数调用:

  • 定义预期输出的 JSON schema。
  • 模型被约束为输出匹配 schema。
  • 适用于 OpenAI、Anthropic、Google 及多数服务商。

方法 3:约束解码

Outlines 和 LMQL 等库强制模型产生有效输出:

  • 定义 Pydantic 模型或 JSON schema。
  • 解码过程逐 token 强制执行 schema。
  • 输出结构 100% 合法。

方法 4:Instructor 库

Instructor 库用 Pydantic 验证包装任何 LLM API:

  • 用 Pydantic 定义数据模型。
  • Instructor 自动处理重试和验证。
  • 支持 OpenAI、Anthropic、Gemini 和本地模型。

最佳实践

  • 始终对照 schema 验证输出。
  • 对有限选项使用枚举类型。
  • 对格式错误的响应包含重试逻辑。
  • 保持 schema 简单——嵌套结构会增加错误率。
  • 用 50+ 个示例测试以衡量可靠性。

实用模式

获取结构化输出最可靠的方式是在系统提示词中结合清晰的 schema 定义和少样本示例。展示 2–3 个你想要格式的输入/输出对。OpenAI 模型使用 response_format 参数配合 JSON schema。Claude 使用 tool_use API 强制结构化响应。

常见坑

  • Schema 复杂度:保持 schema 扁平简单。深层嵌套对象增加错误率。
  • 验证:使用前始终验证输出是否符合 schema。LLM 偶尔产生无效 JSON。
  • 枚举处理:使用枚举时在提示词中包含所有有效值。模型有时会编造不存在的值。
  • 转义:JSON 字符串内的 JSON 是常见 bug 来源。使用正确转义或外层改用 YAML。

能约束解码就约束解码

现在每个服务商都提供某种语法约束或 schema 约束的解码,只要可用,它就严格优于「礼貌地请求 JSON」。差别不在格式正确率,而在于它消灭了修复循环。一个在结构上无法输出未闭合括号的模型,替你省掉了重试、截断处理和那个你本来还得测试的解析异常分支。

在无法约束的场合,就要求尽可能小的对象,并在使用前校验。无约束 JSON 的失败模式不是语法错误,而是「合法 JSON 但类型错了」、「多了一个意料之外的字段」,或「你要求字符串的地方给了 null」。

为模型设计 schema,而不是为数据库设计

十四个必填字段加嵌套 union 的 schema,比四个扁平字段的 schema 产生更多错误,即便数据库那一版才是你真正想存的。务实的中间路线是:让模型输出一个小的中间形状,再由你的代码映射到存储 schema。那段映射是几行普通代码,不依赖模型就能测,而且它剥夺了模型违反你不变量的能力。

可选字段要特别小心。标为可选的字段,等于教会模型「省略是可以的」,而它恰恰会在取值难以确定时省略——而那正是你最需要证据的情况。当你需要区分「未知」和「不适用」时,宁可用显式的哨兵值,而不要用缺失。

先校验,再修复一次

校验失败时,把具体错误附上去重试,而不是只把原始输出重发一遍。带上失败的确切路径。一次有针对性的重试能解决多数失败;盲目重试通常会复现同一个错误。第二次失败后就该让请求失败而不是循环,并把两次尝试都记录下来,因为这一对结果是你关于提示词最有用的证据。