評価が重要な理由

LLMアプリケーションの出力は非決定的です。ユニットテストだけでは不十分で、体系的な評価が必要です。

主要指標

  • 正確性: 出力が期待される回答と一致するか？
  • 関連性: 回答が話題に沿っているか？
  • 忠実性: 提供されたコンテキストに忠実か？

評価手法

  • LLM-as-judge: 強力なモデルで出力を採点します。
  • 自動指標: BLEU、ROUGE、pass@kです。

ツール

  • RAGAS: RAGパイプライン評価します。
  • DeepEval: 14+指標のオープンソースフレームワークです。

評価データセットの構築

LLM評価の基盤は高品質なテストセットです。メインユースケース、エッジケース、失敗モードをカバーする100–500サンプルを目指しましょう。

タスク別重要指標

  • Q&A/RAG: 正確一致、F1、LLM-as-judge（GPT-5で1–5スケール評価です）。
  • 要約: ROUGE-L＋LLM-as-judgeで忠実度を評価します。
  • 分類: 各クラスの精度・再現率・F1です。混同行列で系統的誤分類を発見します。
  • コード生成: Pass@k（単体テスト合格率）＋人間レビューです。

自動化とリグレッションテスト

LLM評価を単体テストとして扱ってください。プロンプト変更やモデル更新のたびに評価スイートを実行してください。LangSmith、Braintrust、pytestで自動化してください。品質ゲート：いずれかの指標がベースラインから5%以上低下したら変更をブロックしてください。