ファインチューニングが必要な理由

事前学習モデルは強力だが、ドメインに合わない可能性がある。

コスト問題

7Bパラメータモデルのフルファインチューニングには約160GB VRAMが必要。

パラメータ効率手法

  • LoRA: 凍結層に小さな訓練可能行列を追加。訓練可能パラメータを100分の1に削減。
  • QLoRA: ベースモデルを4ビットに量子化してからLoRAを適用。
  • プレフィックスチューニング: 小さなプレフィックスベクトルのみ訓練。

実践セットアップ

  • ハードウェア: RTX 4090（24GB）1枚でほとんどのQLoRAジョブを処理。
  • フレームワーク: Hugging Face PEFT、Unsloth、Axolotl。

コスト最適化戦略

  • LoRA/QLoRAから始める: 可訓練パラメータを1%未満に削減、品質は90-95%維持。
  • 小さいベースモデル: Llama 3.1 8Bは70Bの約1/10コスト。
  • クラウドGPU価格: A100約$1.50/時、H100約$3.00/時。
  • データ品質重視: 1000の高品質サンプルが10000の普通サンプルに勝る。

よくある落とし穴

  • 過学習: バリデーション損失を監視、早期停止とdropoutを使用。
  • 破滅的忘: 汎用会話データを10-20%混在。
  • 評価のギャップ: 損失曲線だけでなくタスク固有指標で評価。