Zum Inhalt springen

LoRA

Parameter-effizientes Fine-Tuning, das die Basisgewichte einfriert und nur kleine Low-Rank-Matrizen trainiert – drastisch günstiger.

Ein LoRA-Adapter ist oft nur wenige Megabyte groß: Er lässt sich auf einer einzelnen Consumer-GPU trainieren, und per Adapterwechsel ändert man das Verhalten, ohne das ganze Modell zu kopieren. Sehr verbreitet für Stable-Diffusion-Stile und angepasste LLMs.

Verwandte Ressourcen

Praktische Feinabstimmung im LLM
Ein praxisorientierter Leitfaden zur Feinabstimmung großer Sprachmodelle, der parameter-effiziente Ansätze wie LoRA und QLoRA neben klassischem Full-Fine-Tuning abdeckt. Mit echten Code-Beispielen durch Datensatzvorbereitung, Hyperparameter-Tuning und Bewertungsmetriken – für ML-Ingenieure, die Basismodelle an spezifische Domänen anpassen wollen, ohne von Grund auf trainieren zu müssen.