問題
LLMはテキスト生成に優れるが、アプリケーションは構造化データ——JSONオブジェクト、配列、型付きの値——を必要とすることが多いです。信頼できる構造化出力を得るには、専用の手法が要ります。
アプローチ1:プロンプトエンジニアリング
モデルにJSON形式で応答するよう依頼します。
- プロンプトに正確なスキーマを指定してください。
- 入力と出力のペアを例として1つ含めてください。
- 「有効なJSONのみで応答してください。説明は不要です。」と追加してください。
アプローチ2:関数呼び出し
主要なAPIのほとんどが関数呼び出しに対応しています。
- 期待する出力のJSONスキーマを定義してください。
- モデルはスキーマに一致する出力に制約されます。
- OpenAI、Anthropic、Google、およびほとんどのプロバイダーで動作します。
アプローチ3:制約デコード
OutlinesやLMQLのようなライブラリは、モデルに有効な出力を強制します。
- PydanticモデルまたはJSONスキーマを定義してください。
- デコード処理がスキーマをトークン単位で強制します。
- 有効な出力構造が100%保証されます。
アプローチ4:Instructorライブラリ
Instructorライブラリは、任意のLLM APIをPydantic検証でラップします。
- Pydanticでデータモデルを定義してください。
- Instructorが再試行と検証を自動で処理します。
- OpenAI、Anthropic、Gemini、およびローカルモデルで動作します。
ベストプラクティス
- 常にスキーマに対して出力を検証してください。
- 限定オプションには列挙型を使用してください。
- スキーマはシンプルに保ってください。
- 不正な形式の応答には再試行ロジックを含めてください。
- 信頼性を測るために50件以上の例でテストしてください。
実用的パターン
構造化出力を得る最も信頼できる方法は、システムプロンプトにスキーマ定義と少ショット例を組み合わせることです。OpenAIはresponse_formatパラメータ、Claudeはtool_use APIを使用します。
よくある落とし穴
- スキーマ複雑さ: フラットでシンプルに保ってください。深いネストはエラー率を上昇します。
- バリデーション: 使用前に常にスキーマに対し検証してください。
- 列挙型: プロンプトに全有効値を含めてください。
- エスケープ: JSON内のJSONはバグの元です。
可能ならデコーダを制約する
現在どの提供元も文法制約やスキーマ制約付きデコーディングを提供しており、使えるならJSONを丁寧に頼むより厳密に優れています。違いは形式の正確さではなく、修復ループの消滅です。閉じていない括弧を構造的に出せないモデルは、再試行、打ち切り処理、そして本来テストが必要だったパーサ例外の分岐を不要にします。
制約がない場合は、できるだけ小さなオブジェクトを要求し、使う前に検証します。制約なしJSONの失敗は文法エラーではなく、型が違う正しいJSON、想定外の追加フィールド、文字列が必要な場所のnullです。
データベースではなくモデルのためにスキーマを設計する
必須14フィールドにネストしたunionを持つスキーマは、フラットな4フィールドより多くのエラーを生みます。データベース版が本当に保存したい形でもです。実務的な中間策は、モデルに小さな中間形を出させ、コード側で保存スキーマへ写像することです。その写像は数行の普通のコードで、モデルなしでテストでき、モデルが不変条件を破る能力を奪います。
任意フィールドには特に注意してください。任意と記すと「省略してよい」と教えることになり、値の特定が難しいまさにそのときに省略します。それは最も証拠が必要な場合です。未知と該当なしを区別したいなら、欠落より明示的な番兵値を選んでください。
検証してから一度だけ修復する
検証が失敗したら、生の出力だけでなく具体的なエラーを添えて再試行します。失敗した正確なパスを含めます。狙いを定めた一度の再試行でほとんどの失敗は解決します。盲目的な再試行は同じ誤りを再現します。二度目の失敗後はループせずリクエストを失敗させ、両方の試行を記録します。その対がプロンプトについて得られる最も有用な証拠です。