PEFT (Parameter-Efficient Fine-Tuning) (DE)

Parametereffizientes Fine-Tuning (englisch Parameter-Efficient Fine-Tuning, PEFT) ist eine Sammlung von Methoden zur Anpassung großer, vortrainierter Modelle, wie große Sprachmodelle (LLMs), an spezifische Aufgaben mit minimalem Rechen- und Ressourcenaufwand. Im Gegensatz zum traditionellen vollständigen Fine-Tuning (full fine-tuning), das die Aktualisierung aller Modellparameter erfordert, konzentrieren sich PEFT-Methoden auf die Modifikation nur eines kleinen Teils der Gewichte (weniger als 1-5 % der Gesamtanzahl), während der Großteil des Modells unverändert („eingefroren“) bleibt.

Dieser Ansatz ermöglicht es, die Anforderungen an Arbeitsspeicher, Speicherplatz und Trainingszeit erheblich zu reduzieren. Dadurch wird der Prozess der Anpassung leistungsstarker Basismodelle zugänglicher und widerstandsfähiger gegen das Problem des katastrophalen Vergessens.

Probleme des vollständigen Fine-Tunings

Das traditionelle vollständige Fine-Tuning, bei dem alle Modellparameter aktualisiert werden, stößt auf eine Reihe kritischer Probleme, die als Katalysator für die Entwicklung von PEFT dienten:

• Hoher Rechenaufwand: Die Aktualisierung von Hunderten von Milliarden Parametern erfordert enorme Rechenleistung (leistungsstarke GPUs/TPUs) und eine große Menge an Videospeicher (VRAM), was den Prozess teuer und für viele Forscher unzugänglich macht.
• Ineffiziente Speicherung: Für jede neue Aufgabe muss eine vollständige, mehrere Gigabyte große Kopie des Modells gespeichert werden, was zu einem exponentiellen Anstieg des Speicherplatzbedarfs führt.
• Katastrophales Vergessen (Catastrophic Forgetting): Während sich das Modell an neue Daten anpasst, „vergisst“ es das allgemeine Wissen, das es während des Vortrainierens erworben hat, was seine Leistung bei anderen Aufgaben beeinträchtigt.
• Risiko der Überanpassung (Overfitting): Bei kleinen Datensätzen für das Fine-Tuning neigen Modelle mit Milliarden von Parametern dazu, die Trainingsbeispiele „auswendig zu lernen“, anstatt verallgemeinerbare Muster zu erlernen.

Taxonomie der PEFT-Methoden

PEFT-Methoden können danach klassifiziert werden, wie sie die Modellparameter verändern. Es gibt drei Hauptkategorien: additive, selektive und Reparametrisierungsmethoden.

Additive Methoden

Diese Methoden frieren alle ursprünglichen Gewichte des Modells ein und fügen neue, kleine trainierbare Module hinzu.

• Adapter (Adapters): Die früheste additive Methode. Kleine neuronale Netzwerkmodule mit einer „Flaschenhals“-Architektur werden zwischen die Schichten des Transformers eingefügt. Nur die Gewichte dieser Adapter werden trainiert.
• Methoden, die auf „Soft Prompts“ basieren: Anstatt die Gewichte des Modells zu ändern, fügen diese Methoden den Eingabedaten trainierbare Vektoren („virtuelle Tokens“) hinzu, die das Verhalten des Modells steuern. Wichtige Varianten sind:
  • Prompt Tuning: Fügt trainierbare Vektoren nur zu den Eingabe-Embeddings hinzu.
  • Prefix-Tuning: Fügt trainierbare Vektor-Präfixe zu den verborgenen Zuständen in jeder Schicht des Aufmerksamkeitsmechanismus hinzu, was eine feinere Steuerung ermöglicht.
  • P-Tuning v2: Eine Verallgemeinerung der Idee des Prefix-Tuning, die trainierbare Prompts auf allen Schichten des Modells anwendet und so eine Leistung erreicht, die mit der des vollständigen Fine-Tunings vergleichbar ist.

Selektive Methoden

Diese Methoden fügen keine neuen Parameter hinzu, sondern wählen eine kleine Teilmenge der bereits vorhandenen aus und trainieren diese.

• BitFit: Eine extrem sparsame Methode, die nur die Bias-Vektoren (bias terms) und die Parameter der Normalisierungsschichten trainiert, wodurch weniger als 0,1 % der Gesamtparameter aktualisiert werden.
• Differentielles Pruning (Diff Pruning): Verwendet eine trainierbare Maske, um dynamisch zu bestimmen, welche Gewichte während des Trainings aktualisiert werden sollen.

Reparametrisierungsmethoden

Diese Kategorie basiert auf der Hypothese, dass die Gewichtsänderungen zur Anpassung des Modells einen niedrigen „intrinsischen Rang“ haben. Anstatt die voll-dimensionalen Gewichtsmatrizen zu aktualisieren, aktualisieren diese Methoden deren niedrigrangige Repräsentation.

• LoRA (Low-Rank Adaptation): Die derzeit beliebteste PEFT-Methode. Sie geht davon aus, dass die Aktualisierung der Gewichtsmatrix `ΔW` durch das Produkt zweier niedrigrangiger Matrizen angenähert werden kann: `ΔW = BA`. Während des Fine-Tunings wird die ursprüngliche Matrix `W` eingefroren, und nur `A` und `B` werden trainiert.
• QLoRA: Kombiniert LoRA mit Quantisierungstechniken, um den Speicherbedarf noch weiter zu senken, sodass Modelle mit 65 Milliarden Parametern auf einer einzigen Consumer-GPU trainiert werden können.

Vergleich von Leistung und Ressourcen

PEFT-Methoden ermöglichen es, eine mit dem vollständigen Fine-Tuning vergleichbare Leistung bei drastisch reduziertem Aufwand zu erzielen.

Vergleichende Leistung und Effizienz von PEFT-Methoden

Modell	Methode	Trainierbare Parameter (%)	Ergebnis im Benchmark (Avg. Accuracy)	Quelle
BERT-Large	Vollständiges Fine-Tuning	100%	80.4 (GLUE)
BERT-Large	Adapters	3.6%	80.0 (GLUE)
LLaMA-7B	LoRA	0.83%	74.7%
LLaMA-7B	DoRA (eine LoRA-Variante)	0.84%	78.1%

Die Hauptvorteile von PEFT bei der Ressourceneinsparung sind:

• GPU-Speicher (VRAM): Für das LLaMA-65B-Modell erfordert ein vollständiges Fine-Tuning theoretisch >780 GB VRAM, während QLoRA das Training auf einer GPU mit <48 GB VRAM ermöglicht.
• Speicherplatz: Checkpoints, die nach einem PEFT-Durchlauf gespeichert werden, belegen Megabytes statt Gigabytes. Dies ermöglicht es, Hunderte von „Adaptern“ für verschiedene Aufgaben auf dem Speicherplatz zu speichern, den ein einziges vollständig trainiertes Modell beanspruchen würde.

Anwendungsbereiche

Ursprünglich für NLP entwickelt, wurden PEFT-Methoden erfolgreich für eine breite Palette von Aufgaben angepasst:

• Computer Vision (CV) und multimodale Modelle (VLM): Anpassung von Modellen wie dem Vision Transformer (ViT) und dem Segment Anything Model (SAM) für Bildsegmentierungsaufgaben, auch in der Biomedizin.
• Code-Generierung und -Analyse: Feinabstimmung von LLMs auf die Besonderheiten bestimmter Softwareprojekte, interner APIs oder Codebasen.
• Generative Modelle: „Stilisierung“ von Bilderzeugungsmodellen wie Stable Diffusion mithilfe von LoRA-Adaptern (Dreambooth-Technik).
• Sprachsynthese: Anpassung von Modellen zur Erzeugung von Sprache mit einer bestimmten Stimme, Intonation oder emotionalen Färbung.

Weblinks

• PEFT-Bibliothek-Repository auf GitHub
• Offizielle Dokumentation der PEFT-Bibliothek von Hugging Face

Literatur

• Hu, E.J. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Dettmers, T. et al. (2023). QLoRA: Efficient Finetuning of Quantized LLMs. arXiv:2305.14314.
• Houlsby, N. et al. (2019). Parameter-Efficient Transfer Learning for NLP. ICML 2019.
• Li, X.L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
• Liu, X. et al. (2022). P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks. arXiv:2110.07602.
• Ben Zaken, E.; Ravfogel, S.; Goldberg, Y. (2021). BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-Based Masked Language Models. arXiv:2106.10199.
• Guo, D.; Rush, A.M.; Kim, Y. (2020). Parameter-Efficient Transfer Learning with Diff Pruning. arXiv:2012.07463.
• Jiang, Z. et al. (2024). MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning. arXiv:2405.12130.
• Mao, K. et al. (2024). A Survey on LoRA of Large Language Models. arXiv:2407.11046.
• Chen, S. et al. (2024). Parameter-Efficient Fine Tuning: A Comprehensive Analysis Across Applications. arXiv:2404.13506.
• Zhang, J. et al. (2025). Parameter-Efficient Fine-Tuning for Foundation Models. arXiv:2501.13787.