---
title: "Fine-tuning (deep learning) (SV)"
source: "https://systems-analysis.info/int/Fine-tuning_(deep_learning)_(SV)"
wiki: "systems-analysis.info/int"
article: "Fine-tuning_(deep_learning)_(SV)"
language: "sv"
categories:
  - "Category:Large language models"
  - "Category:Machine learning"
  - "Category:Swedish"
revision_id: 2183
wiki_created_at: 2026-09-06T22:59:48Z
wiki_modified_at: 2026-09-06T22:59:48Z
downloaded_at: 2026-09-07T22:49:42Z
---

# Fine-tuning (deep learning) (SV)

**Finjustering** (eng. Fine-tuning), även känd som **tонкая настройка**, — är en metod för transfer learning inom Machine Learning där parametrarna i en förtränad modell (pre-trained model) anpassas för att lösa en ny, specifik uppgift. Istället för att träna en modell från grunden, vilket kräver enorma mängder data och beräkningsresurser, gör fine-tuning det möjligt att använda den kunskap som redan är kodad i modellens vikter och "justera" dem efter specifika behov.

Detta tillvägagångssätt har blivit de facto-standard inom djupinlärning, särskilt vid arbete med stora språkmodeller (LLM) och modeller för datorseende.

## Koncept

Processen för fine-tuning kan delas in i två huvudsakliga steg:

1\. **Förträning (Pre-training):** Modellen (t.ex. BERT eller GPT) tränas på ett mycket stort och allmänt dataset (t.ex. hela internet) med hjälp av en självövervakad uppgift (t.ex. förutsägelse av nästa ord). I detta steg lär sig modellen allmänna mönster, syntax, semantik och världskunskap.

2\. **Finjustering (Fine-tuning):** Den förtränade modellen används som grund och dess vikter finjusteras på ett litet men uppgiftsspecifikt annoterat dataset.

Nyckelidén är att den kunskap som förvärvats under förträningen är universell och framgångsrikt kan överföras för att lösa många andra, mer specialiserade uppgifter.

## Processen för fine-tuning

En typisk fine-tuning-process innefattar följande steg:

1\. **Val av förtränad modell:** En modell väljs vars grundläggande förmågor passar för måluppgiften (t.ex. BERT för textförståelse, GPT för generering).

2\. **Arkitekturanpassning:** Ett nytt, uppgiftsspecifikt "head"-lager läggs till den förtränade modellen. Till exempel:

- För **textklassificering** läggs ett enkelt fully connected-lager med softmax-funktion till.
- För **igenkänning av namngivna enheter (NER)** läggs en klassificerare till utdata för varje token.

3\. **Träning på måldatasetet:** Hela modellen (eller en del av den) tränas på det nya, annoterade datasetet. I detta steg uppdateras modellens vikter, inklusive vikterna för de förtränade lagren, med hjälp av gradientmetoden för att minimera förlustfunktionen på den nya uppgiften.

4\. **Användning av lägre inlärningshastighet:** Vid fine-tuning används vanligtvis en betydligt lägre inlärningshastighet än vid förträning. Detta är nödvändigt för att inte "förstöra" den användbara kunskap som redan är kodad i modellens vikter, utan bara försiktigt korrigera den.

## Typer av fine-tuning

### Full Fine-tuning - Fullständig finjustering

- **Princip:** Alla parametrar i den förtränade modellen uppdateras tillsammans med det nya "head"-lagret.
- **Fördelar:** Ger potentiellt bästa prestanda, eftersom hela modellen anpassas till den nya uppgiften.
- **Nackdelar:** Kräver betydande beräkningsresurser och minne, eftersom gradienter för alla parametrar måste lagras och uppdateras. Det finns en risk för **katastrofalt glömande**, då modellen "glömmer" den allmänna kunskap som förvärvades vid förträning.

### Parameter-Efficient Fine-Tuning, PEFT - Parametereffektiv finjustering

Detta är en familj av metoder som syftar till att minska beräkningskostnaderna vid fine-tuning. Grundidén är att frysa de flesta parametrarna i den förtränade modellen och bara träna ett litet antal nya eller utvalda befintliga parametrar.

- **Exempel på PEFT-metoder:**
  - **Adaptrar (Adapters):** Små, ytterligare adapterlager infogas i transformer-arkitekturen och det är bara dessa som tränas.
  - **LoRA (Low-Rank Adaptation):** Istället för att uppdatera fullständiga viktmatriser tränar LoRA deras lågrangsuppdateringar. Detta gör det möjligt att minska antalet träningsbara parametrar med tusentals gånger.
  - **Prompt Tuning:** Träningsbara vektor-"prompts" läggs till indata och justeras för att lösa uppgiften, medan själva modellen förblir fryst.

<!-- -->

- **Fördelar med PEFT:**
  - **Effektivitet:** Minskar avsevärt krav på minne och beräkningar.
  - **Modularitet:** Gör det enkelt att anpassa en förtränad modell för många uppgifter, med endast små uppsättningar anpassade vikter för varje uppgift.

## Instruction Tuning - Finjustering med instruktioner

Detta är en specifik typ av fine-tuning som syftar till att förbättra LLM:ers förmåga att följa instruktioner på naturligt språk.

- **Arbetsprincip:** Modellen finjusteras på ett dataset som består av par av typen "instruktion — önskat utfall".
- **Syfte:** Förbättra modellens generaliseringsförmåga på nya, tidigare osedda uppgifter som kan beskrivas i form av instruktioner. Modeller som InstructGPT och FLAN-T5 är tydliga exempel på detta tillvägagångssätt.

## Litteratur

- Howard, J.; Ruder, S. (2018). *Universal Language Model Fine-tuning for Text Classification*. arXiv:1801.06146.
- Houlsby, N. et al. (2019). *Parameter-Efficient Transfer Learning for NLP*. arXiv:1902.00751.
- Pfeiffer, J. et al. (2020). *AdapterFusion: Non-Destructive Task Composition for Transfer Learning*. arXiv:2005.00247.
- Hu, E. J. et al. (2021). *LoRA: Low-Rank Adaptation of Large Language Models*. arXiv:2106.09685.
- Lester, B.; Al-Rfou, R.; Constant, N. (2021). *The Power of Scale for Parameter-Efficient Prompt Tuning*. arXiv:2104.08691.
- Ben Zaken, A.; Goldberg, Y.; Ravfogel, S. (2022). *BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-based Masked Language-Models*. ACL 2022.
- Ouyang, L. et al. (2022). *Training Language Models to Follow Instructions with Human Feedback*. arXiv:2203.02155.
- Han, Z. et al. (2024). *Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey*. arXiv:2403.14608.
- Bian, J. et al. (2025). *A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning*. arXiv:2504.21099.
- Li, X. et al. (2025). *Revisiting Fine-Tuning: A Survey of Parameter-Efficient Techniques and Future Directions*. Preprints.org.

## Se även

- Stora språkmodeller
- BERT
- GPT