LoRA

Método de ajuste fino eficiente que congela los pesos base y entrena pequeñas matrices de bajo rango, reduciendo drásticamente el coste.

Un adaptador LoRA suele ocupar solo unos megas: puedes entrenarlo en una única GPU doméstica e intercambiar adaptadores para cambiar de comportamiento sin duplicar el modelo entero. Es omnipresente en estilos de Stable Diffusion y LLMs personalizados.

Recursos relacionados

Ajuste Práctico de LLM

Guía práctica y con enfoque hands-on para el ajuste fino de modelos grandes: cubre métodos eficientes en parámetros como LoRA y QLoRA junto con el ajuste fino tradicional. Recorre la preparación de datasets, ajuste de hiperparámetros y métricas de evaluación con ejemplos de código reales; ideal para ingenieros de ML que quieren adaptar modelos base a dominios específicos sin el coste de entrenar desde cero.