評価が重要な理由

LLMアプリケーションの出力は非決定的です。ユニットテストだけでは不十分で、体系的な評価が必要です。

主要指標

  • 正確性: 出力が期待される回答と一致するか?
  • 関連性: 回答が話題に沿っているか?
  • 忠実性: 提供されたコンテキストに忠実か?
  • 毒性: 出力に有害な内容が含まれるか?
  • レイテンシ: 生成にどれだけ時間がかかるか?
  • コスト: リクエストあたりのコストはいくらか?

評価手法

  • 人間評価: ゴールドスタンダードですが、遅く高コストです。
  • LLM-as-judge: 強力なモデルで出力を採点します。
  • 自動指標: BLEU、ROUGE、pass@kです。
  • A/Bテスト: 実際のユーザーで2つのバージョンを比較します。

ツール

  • RAGAS: RAGパイプライン評価します。
  • DeepEval: 14+指標のオープンソースフレームワークです。
  • LangSmith: LangChainによる追跡と評価のプラットフォームです。
  • Braintrust: AI製品の評価とオブザーバビリティです。

ベストプラクティス

  • エッジケースをカバーする100-500件の評価データセットを構築します。
  • プロンプトを変更するたびに評価を実行します。
  • ダッシュボードで指標を経時的に追跡します。
  • 品質ゲートを設定します。スコアがしきい値を下回ったらデプロイをブロックします。

評価データセットの構築

LLM評価の基盤は高品質なテストセットです。メインユースケース、エッジケース、失敗モードをカバーする100–500サンプルを目指しましょう。

タスク別重要指標

  • Q&A/RAG: 正確一致、F1、LLM-as-judge(GPT-6 Astraなどの現行フロンティアモデルで1–5スケール評価です)。
  • 要約: ROUGE-L+LLM-as-judgeで忠実度を評価します。
  • 分類: 各クラスの精度・再現率・F1です。混同行列で系統的誤分類を発見します。
  • コード生成: Pass@k(単体テスト合格率)+人間レビューです。

自動化とリグレッションテスト

LLM評価を単体テストとして扱ってください。プロンプト変更やモデル更新のたびに評価スイートを実行してください。LangSmith、Braintrust、pytestで自動化してください。品質ゲート:いずれかの指標がベースラインから5%以上低下したら変更をブロックしてください。

2000件ではなく20件から始める

最もよくある評価の誤りは、大きなラベル付きデータセットを待つことです。実際に読んだ20件の実例に、それぞれ受け入れられる答えを付けたものは、読んでいない2000件のスクレイピングより意思決定を変えます。そこから始め、それを基準に出荷し、気にしている特定の失敗が集合に現れていないときにだけ増やします。

集合は退屈なケースを含む実際の利用分布を反映すべきです。興味深い質問20件の集合は、興味深い質問の扱いを測り、日常的な9割のトラフィックについては何も教えません。

雰囲気ではなく構成要素を採点する

自由記述出力のエンドツーエンドスコアはノイズが多く行動に結びつきません。パイプラインを分解します。正しい文脈が検索されたか、答えはその文脈に忠実だったか、形式は有効だったか、レイテンシは許容範囲か。それぞれ安価な検査があり、それぞれ別の修正を指します。忠実性で失敗するシステムはより良いプロンプトが要り、検索で失敗するものは別の索引が要り、形式で失敗するものはスキーマ制約が要ります。単一の数字では区別できません。

審査モデルには独自の較正が必要

モデルを採点者に使うのは合理的で、自由記述ではしばしば必要ですが、審査役は実際に読んだサンプルで人間のラベルに対して較正されねばなりません。審査役のスコアだけでなく一致率を測ります。審査役のバージョンを固定し、変わったら較正をやり直します。黙って更新された審査役はダッシュボード全体を動かすからです。

失敗を保存する

失敗した各実例を、それを生んだ入力とともに保存します。数か月でその集合はプロジェクトで最も価値ある資産になります。システムが実際にどこで苦手かを符号化した唯一の成果物だからです。

本文のモデル名は2026-11-10にOpenAIとAnthropicの公式ドキュメントで確認しました。