ファインチューニングが必要な理由

事前学習モデルは強力だが、ドメインに合わない可能性があります。

コスト問題

7Bパラメータモデルのフルファインチューニングには約160GB VRAMが必要です。

パラメータ効率手法

  • LoRA: 凍結層に小さな訓練可能行列を追加します。訓練可能パラメータを100分の1に削減します。
  • QLoRA: ベースモデルを4ビットに量子化してからLoRAを適用します。
  • プレフィックスチューニング: 小さなプレフィックスベクトルのみ訓練します。

実践セットアップ

  • ハードウェア: RTX 4090（24GB）1枚でほとんどのQLoRAジョブを処理します。
  • フレームワーク: Hugging Face PEFT、Unsloth、Axolotlです。

コスト最適化戦略

  • LoRA/QLoRAから始める: 可訓練パラメータを1%未満に削減、品質は90-95%維持します。
  • 小さいベースモデル: Llama 3.1 8Bは70Bの約1/10コストです。
  • クラウドGPU価格: A100約$1.50/時、H100約$3.00/時です。
  • データ品質重視: 1000の高品質サンプルが10000の普通サンプルに勝ちます。

よくある落とし穴

  • 過学習: バリデーション損失を監視、早期停止とdropoutを使用してください。
  • 破局的忘却: 汎用会話データを10-20%混在させてください。
  • 評価のギャップ: 損失曲線だけでなくタスク固有指標で評価してください。