LoRA

기본 가중치를 고정하고 작은 저랭크 행렬만 학습하는 효율적 파인튜닝 기법으로, 비용을 크게 줄입니다.

LoRA 어댑터는 보통 몇 MB에 불과해 일반 소비자용 GPU 한 장으로 학습할 수 있고, 어댑터만 갈아 끼우면 모델 전체를 복제하지 않고도 동작을 바꿀 수 있습니다. Stable Diffusion 스타일과 커스텀 LLM에 널리 쓰입니다.