知识蒸馏

训练较小的“学生”模型模仿较大的“教师”模型，以更低成本保留大部分质量。

相关资源

大模型微调实战

学习如何微调大语言模型，包括 LoRA、QLoRA 等高效微调方法。