知識蒸留

小さな「生徒」モデルに大きな「教師」モデルを模倣させ、低コストで品質を維持する。

高速で安価な「mini」「flash」系モデルの多くは大きな旗艦モデルから蒸留され、わずかな精度と引き換えに大幅な低遅延・低コストを得る。大量処理の本番利用に最適。

関連リソース

LLM ファインチューニング実践

LoRA・QLoRA などのパラメータ効率的手法から従来のフルファインチューニングまで、LLM ファインチューニングの実践ガイド。データセット準備、ハイパーパラメータ調整、評価指標を実際のコード例で解説しており、ゼロから学習するコストなしにベースモデルを特定ドメインに適応させたい ML エンジニアに最適。