Warum fein abstimmen?

Vortrainierte Modelle sind leistungsstark, passen aber möglicherweise nicht zu deinem Bereich. Feinabstimmung passt sie an deine spezifischen Bedürfnisse an, ohne von Grund auf zu trainieren.

Das Kostenproblem

Die vollständige Feinabstimmung eines 7B-Parameter-Modells erfordert ~160 GB VRAM. Das sind 2-4 A100-GPUs zu jeweils 2-3 Dollar pro Stunde.

Parametereffiziente Methoden

  • LoRA: Fügt gefrorenen Schichten kleine trainierbare Matrizen hinzu. Verringert trainierbare Parameter um das 100-fache.
  • QLoRA: Quantisiere das Basismodell auf 4 Bit, dann wende LoRA an. Passt ein 65B-Modell auf eine einzelne 48GB-GPU.
  • Präfix-Tuning: Trainiere nur kleine Präfixvektoren. Minimaler Speicheraufwand.
  • Adapterschichten: Füge kleine trainierbare Module zwischen eingefrorenen Schichten ein.

Praktisches Setup

  • Hardware: Eine einzelne RTX 4090 (24GB) oder A10G (24GB) übernimmt die meisten QLoRA-Jobs.
  • Cloud-Optionen: RunPod, Lambda Labs, Vast.ai zu 0,3 bis 0,8 $ pro Stunde.
  • Frameworks: Hugging Face PEFT, Unsloth, Axolotl.

Schritt für Schritt

1. Bereite deinen Datensatz vor (JSONL-Format, 1K-10K-Beispiele).

2. Wähle ein Basismodell, das zu deiner Aufgabendomäne passt.

3. Konfiguriere QLoRA mit Rang 16-64 und Alpha 16-32.

4. Trainiere für 1-3 Epochen, überwache den Validierungsverlust.

5. Führe Adapter zusammen und bewerte auf zurückgehaltenen Testdaten.

Tipps

  • Beginne mit 1K-Beispielen in hoher Qualität, bevor du auf 10K skalierst.
  • Verwende das Anweisungsbefolgungs-Format auch für Vervollständigungsaufgaben.
  • Bewerte immer auf Daten, die das Modell während des Trainings nicht gesehen hat.