コンテンツへスキップ

人間のフィードバックによる強化学習（RLHF）

人間の評価から学んだ報酬モデルを用いて、モデルを人間の好みに合わせる学習技法。

RLHF は、チャットボットが単に確からしい文を予測するのではなく有用で礼儀正しく感じられる大きな理由。DPO などの新手法はより簡単な学習で同様の整合を実現する。

関連リソース

LLM ファインチューニング実践
LoRA・QLoRA などのパラメータ効率的手法から従来のフルファインチューニングまで、LLM ファインチューニングの実践ガイド。データセット準備、ハイパーパラメータ調整、評価指標を実際のコード例で解説しており、ゼロから学習するコストなしにベースモデルを特定ドメインに適応させたい ML エンジニアに最適。