LoRA（低秩适配）

一种参数高效微调方法，冻结原始权重、只训练小的低秩矩阵，大幅降低成本。

LoRA 适配器通常只有几 MB，可在单张消费级显卡上训练，通过切换适配器即可改变行为而无需复制整个模型。广泛用于 Stable Diffusion 风格与定制大模型。

相关资源

大模型微调实战

一份面向大语言模型微调的实战指南，涵盖 LoRA、QLoRA 等参数高效方法以及传统全量微调。从数据集准备、超参数调优到评估指标均有详细代码示例，适合希望将基础模型适配到特定领域、又不想承担从零训练成本的 ML 工程师。