Destilación

Entrenar un modelo «alumno» más pequeño para imitar a un «maestro» mayor, conservando gran parte de la calidad a menor coste.

Muchos modelos «mini» o «flash», rápidos y baratos, se destilan de un buque insignia mayor: ceden un poco de precisión a cambio de mucha menos latencia y coste, ideales para producción a gran volumen.

Recursos relacionados

Ajuste Práctico de LLM

Guía práctica y con enfoque hands-on para el ajuste fino de modelos grandes: cubre métodos eficientes en parámetros como LoRA y QLoRA junto con el ajuste fino tradicional. Recorre la preparación de datasets, ajuste de hiperparámetros y métricas de evaluación con ejemplos de código reales; ideal para ingenieros de ML que quieren adaptar modelos base a dominios específicos sin el coste de entrenar desde cero.