RAGが重要な理由

RAGはLLMの応答を自分のデータに基づかせる最も実用的な方法です。

チャンキング戦略

  • 固定サイズ: シンプルだが意味単位を分割する可能性があります。
  • セマンティック: 埋め込み類似度による意味ベース分割です。
  • 再帰的: 見出し、段落、文で段階的に分割します。

ハイブリッド検索

_dense_ベクトル検索と_sparse_キーワード検索（BM25）を組み合わせます。

リランキング

初期検索後、クロスエンコーダーモデルで結果を再スコアリングします。

評価

  • 忠実性: 回答は検索コンテキストに忠実か？
  • 関連性: 検索チャンクは実際に有用か？
  • 正解性: 最終回答は事実的に正しいか？

高度なチャンキング戦略

  • セマンティックチャンキング: LLMでトピック境界を識別します。
  • 再帰的分割: 見出し > 段落 > 文です。
  • オーバーラップ: 10–20%の重複です。
  • メタデータ充実: 各チャンクにタグ付けします。

評価フレームワーク

  • 検索精度 / 忠実度 / 回答関連性 / レイテンシです。

本番チェックリスト

  • ハイブリッド検索、リランキング、モニタリング、フィードバックループです。