高级阅读时长 25 分钟·
大模型微调入门：LoRA 与 QLoRA
当提示词工程和 RAG 都无法满足需求时，微调（fine-tuning）能让模型稳定地掌握特定风格或任务。这篇教程介绍最主流的高效微调方法 LoRA 与 QLoRA。
作者：AI Resource Hub
什么时候才需要微调
如果只是补充知识，优先考虑 RAG；如果需要固定的输出风格、格式，或让小模型学会特定任务，微调才更合适。
微调需要一定规模的高质量标注数据，投入前先想清楚目标与评估方式。
全参微调的代价
全参数微调会更新模型的全部权重，显存和算力开销巨大，对大模型而言个人和中小团队几乎难以承受。
LoRA 的核心思想
LoRA（Low-Rank Adaptation）冻结原始权重，只在其旁边插入一对小的低秩矩阵来学习“增量”，训练参数量往往只有全参微调的百分之一甚至更少。
训练完成后得到一个很小的适配器（adapter），可以按需加载，方便针对不同任务维护多套。
QLoRA 与量化
QLoRA 在 LoRA 基础上，先把基座模型量化到 4-bit 再训练，进一步大幅降低显存占用，让在单张消费级显卡上微调较大模型成为可能。
数据准备与实践建议
数据质量比数量更重要：构造清晰、一致、覆盖目标场景的指令-回答对。
从小学习率、少量 epoch 开始，密切观察验证集表现，避免过拟合；用 Hugging Face PEFT 等库可以快速上手。
微调LoRAQLoRA训练