RLHF

Eine Trainingstechnik, die Modelle über ein aus menschlichen Bewertungen gelerntes Reward-Modell an menschliche Präferenzen anpasst.

RLHF ist ein Hauptgrund, warum Chatbots hilfreich und höflich wirken, statt bloß wahrscheinlichen Text vorherzusagen. Neuere Varianten wie DPO erreichen ähnliche Ausrichtung mit deutlich einfacherem Training.

Verwandte Ressourcen

Praktische Feinabstimmung im LLM

Ein praxisorientierter Leitfaden zur Feinabstimmung großer Sprachmodelle, der parameter-effiziente Ansätze wie LoRA und QLoRA neben klassischem Full-Fine-Tuning abdeckt. Mit echten Code-Beispielen durch Datensatzvorbereitung, Hyperparameter-Tuning und Bewertungsmetriken – für ML-Ingenieure, die Basismodelle an spezifische Domänen anpassen wollen, ohne von Grund auf trainieren zu müssen.