知識蒸留

小さな「生徒」モデルに大きな「教師」モデルを模倣させ、低コストで品質を維持する。

関連リソース

LLM ファインチューニング実践

大規模言語モデルのファインチューニング方法を学習。LoRA や QLoRA などの効率的な手法を含む。