--- title: "Fine-tuning (deep learning) (CS)" source: "https://systems-analysis.info/int/Fine-tuning_(deep_learning)_(CS)" wiki: "systems-analysis.info/int" article: "Fine-tuning_(deep_learning)_(CS)" language: "cs" categories: - "Category:Czech" - "Category:Large language models" - "Category:Machine learning" revision_id: 2171 wiki_created_at: 2026-09-06T22:59:38Z wiki_modified_at: 2026-09-06T22:59:38Z downloaded_at: 2026-09-07T22:49:39Z --- # Fine-tuning (deep learning) (CS) **Doladění** (angl. Fine-tuning), známé také jako **jemné ladění**, je metoda transferového učení ve strojovém učení, při níž jsou parametry předem natrénovaného modelu (pre-trained model) přizpůsobeny pro řešení nové, specifické úlohy. Namísto trénování modelu od nuly, což vyžaduje obrovské množství dat a výpočetních zdrojů, umožňuje doladění využít znalosti již zakódované ve vahách modelu a „naladit" je pro konkrétní potřeby. Tento přístup se stal de facto standardem v oblasti hlubokého učení, zejména při práci s velkými jazykovými modely (LLM) a modely počítačového vidění. ## Koncepce Proces doladění lze rozdělit do dvou základních fází: 1\. **Předtrénování (Pre-training):** Model (například BERT nebo GPT) je trénován na velmi rozsáhlé a obecné datové sadě (například celý internet) s využitím samodohlíženého úkolu (například předpovídání následujícího slova). V této fázi se model učí obecné zákonitosti, syntax, sémantiku a znalosti o světě. 2\. **Doladění (Fine-tuning):** Předtrénovaný model slouží jako základ a jeho váhy jsou doladěny na malé, avšak pro cílový úkol specifické označené datové sadě. Klíčová myšlenka spočívá v tom, že znalosti získané ve fázi předtrénování jsou univerzální a lze je úspěšně přenést pro řešení mnoha dalších, úžeji zaměřených úloh. ## Proces doladění Typický proces doladění zahrnuje následující kroky: 1\. **Výběr předtrénovaného modelu:** Je vybrán model, jehož základní schopnosti odpovídají cílové úloze (například BERT pro úlohy porozumění textu, GPT pro generování). 2\. **Adaptace architektury:** K předtrénovanému modelu je přidána nová „hlavová" vrstva (head) specifická pro cílovou úlohu. Například: - Pro **klasifikaci textu** se přidává jednoduchá plně propojená vrstva s funkcí softmax. - Pro **rozpoznávání pojmenovaných entit (NER)** se klasifikátor přidává k výstupu každého tokenu. 3\. **Trénování na cílové datové sadě:** Celý model (nebo jeho část) je trénován na nové, označené datové sadě. V této fázi jsou váhy modelu, včetně vah předtrénovaných vrstev, aktualizovány pomocí gradientního sestupu za účelem minimalizace ztrátové funkce na nové úloze. 4\. **Použití nižší rychlosti učení:** Při doladění se obvykle používá výrazně nižší rychlost učení než při předtrénování. Je to nutné proto, aby nedošlo ke „zničení" užitečných znalostí již zakódovaných ve vahách modelu, ale pouze k jejich jemnému korigování. ## Typy doladění ### Úplné doladění (Full Fine-tuning) - **Princip:** Jsou aktualizovány všechny parametry předtrénovaného modelu společně s novou „hlavovou" vrstvou. - **Výhody:** Potenciálně poskytuje nejlepší výkon, protože se celý model přizpůsobuje nové úloze. - **Nevýhody:** Vyžaduje značné výpočetní zdroje a paměť, protože je nutné ukládat a aktualizovat gradienty pro všechny parametry. Existuje riziko **katastrofického zapomínání**, kdy model „zapomíná" obecné znalosti získané při předtrénování. ### Parametricky efektivní doladění (Parameter-Efficient Fine-Tuning, PEFT) Jde o skupinu metod, jejichž cílem je snížit výpočetní náklady při doladění. Základní myšlenka spočívá v zmrazení většiny parametrů předtrénovaného modelu a trénování pouze malého počtu nových nebo vybraných stávajících parametrů. - **Příklady metod PEFT:** - **Adaptéry (Adapters):** Do architektury Transformeru jsou vloženy malé, doplňkové vrstvy-adaptéry a trénují se pouze ty. - **LoRA (Low-Rank Adaptation):** Namísto aktualizace celých váhových matic trénuje LoRA jejich nízkohodnostní aktualizace. To umožňuje snížit počet trénovaných parametrů tisícinásobně. - **Prompt Tuning:** Ke vstupním datům jsou přidány trénovatelné vektory-„prompty", které se ladí pro řešení úlohy, zatímco samotný model zůstává zmrazen. - **Výhody PEFT:** - **Efektivita:** Výrazně snižuje nároky na paměť a výpočty. - **Modularita:** Umožňuje snadno přizpůsobit jeden předtrénovaný model pro mnoho úloh tím, že se pro každou z nich ukládají pouze malé sady přizpůsobených vah. ## Doladění na základě instrukcí (Instruction Tuning) Jde o specifický typ doladění zaměřený na zlepšení schopnosti LLM dodržovat instrukce v přirozeném jazyce. - **Princip fungování:** Model je doladěn na datové sadě sestávající z dvojic „instrukce — požadovaný výstup". - **Cíl:** Zlepšit zobecňovací schopnost modelu pro nové, dosud neviděné úlohy, které lze popsat formou instrukcí. Modely jako InstructGPT a FLAN-T5 jsou výraznými příklady tohoto přístupu. ## Literatura - Howard, J.; Ruder, S. (2018). *Universal Language Model Fine-tuning for Text Classification*. arXiv:1801.06146. - Houlsby, N. et al. (2019). *Parameter-Efficient Transfer Learning for NLP*. arXiv:1902.00751. - Pfeiffer, J. et al. (2020). *AdapterFusion: Non-Destructive Task Composition for Transfer Learning*. arXiv:2005.00247. - Hu, E. J. et al. (2021). *LoRA: Low-Rank Adaptation of Large Language Models*. arXiv:2106.09685. - Lester, B.; Al-Rfou, R.; Constant, N. (2021). *The Power of Scale for Parameter-Efficient Prompt Tuning*. arXiv:2104.08691. - Ben Zaken, A.; Goldberg, Y.; Ravfogel, S. (2022). *BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-based Masked Language-Models*. ACL 2022. - Ouyang, L. et al. (2022). *Training Language Models to Follow Instructions with Human Feedback*. arXiv:2203.02155. - Han, Z. et al. (2024). *Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey*. arXiv:2403.14608. - Bian, J. et al. (2025). *A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning*. arXiv:2504.21099. - Li, X. et al. (2025). *Revisiting Fine-Tuning: A Survey of Parameter-Efficient Techniques and Future Directions*. Preprints.org. ## Viz také - Velké jazykové modely - BERT - GPT