Träning av stora språkmodeller

Träning av stora språkmodeller (LLM) är en komplex och resurskrävande process där ett neuralt nätverk med miljarder parametrar tränas på enorma mängder textdata för att förstå och generera mänskligt språk. Denna process är en hörnsten i skapandet av moderna LLM:er, såsom GPT, BERT, Claude och Gemini.

Teoretiska grunder för träning

Transformer-arkitektur och attention-mekanism

Moderna LLM:er bygger nästan uteslutande på Transformer-arkitekturen, som möjliggör effektiv bearbetning av långa textsekvenser. En nyckelkomponent är self-attention-mekanismen, som ger modellen möjlighet att väga varje ords betydelse i förhållande till hela sekvensen. Detta gör det möjligt att fånga långväga beroenden och bearbeta data parallellt, vilket avsevärt påskyndar träningen jämfört med rekurrenta nätverk (RNN).

Grunduppgiften: förutsägelse av nästa token

Den fundamentala uppgift som de flesta LLM:er (särskilt generativa sådana, som GPT) tränas på är språkmodellering. Modellen lär sig att förutsäga nästa token (ord eller del av ett ord) i en sekvens, baserat på alla tidigare tokens. Formellt sett maximerar modellen sannolikheten för sekvensen $P(X)$ genom att faktorisera den med hjälp av kedjeregeln:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

För träning används kors-entropiförlustfunktionen, som mäter avvikelsen mellan den av modellen förutsagda sannolikhetsfördelningen och den faktiska nästa token.

Träningssteg

Träningsprocessen för LLM:er består vanligtvis av två huvudsteg.

1. Förträning (Pre-training)

Detta är det mest storskaliga och beräkningsmässigt kostsamma steget, där modellen tillägnar sig sina grundläggande kunskaper om språk och omvärld.

• Data: Modellen tränas på gigantiska korpusar av omärkt text, vars volym kan uppgå till biljoner tokens. Datakällor inkluderar webbsidor (t.ex. Common Crawl), Wikipedia, digitala bokbibliotek (Google Books) och kodrepositorier (GitHub).
• Mål: Att forma universella språkrepresentationer. Modellen lär sig grammatik, syntax, fakta och till och med vissa inslag av logiskt resonemang.
• Process: Detta är självövervakad inlärning (self-supervised learning), där etiketter (korrekta nästa tokens) extraheras direkt ur datan. Träningen kan pågå i veckor eller månader på kluster med tusentals GPU:er eller TPU:er.

2. Finjustering (Fine-tuning) och anpassning (Alignment)

Efter förträningen måste den "råa" modellen anpassas för specifika uppgifter och justeras i enlighet med mänskliga förväntningar.

• Övervakad finjustering (Supervised Fine-tuning): Modellen finjusteras på ett litet men högkvalitativt märkt dataset (t.ex. par av "instruktion–svar") för att lära sig att följa anvisningar.
• Reinforcement Learning from Human Feedback (RLHF): Detta är en nyckelmetod för anpassning. Processen innefattar flera steg:

1. 1. Mänskliga annotatorer rangordnar flera av modellens svar på samma fråga från bäst till sämst.
   2. En belöningsmodell (reward model) tränas på denna data och lär sig att förutsäga vilket svar en människa föredrar.
   3. Den primära LLM:en finjusteras med hjälp av Reinforcement Learning-algoritmer (t.ex. PPO), med belöningsmodellen som signalkälla, för att generera mer hjälpsamma, ärliga och säkra svar.

Detta tvåstegsupplägg (pre-training + fine-tuning/alignment) har blivit branschstandard och möjliggör skapandet av kraftfulla och samtidigt hanterbara språkmodeller.

Praktiska aspekter

Data: insamling, skala och förberedelse

Datans kvalitet och skala är avgörande faktorer för en LLM:s framgång.

• Insamling: Varierande källor används för att säkerställa bred täckning av ämnen, stilar och språk.
• Rensning och filtrering: Ett kritiskt steg som innefattar borttagning av dubbletter, filtrering av lågkvalitativt eller toxiskt innehåll samt balansering av källor, så att modellen inte överanpassas till ett specifikt internetspråk.
• Tokenisering: Text delas upp i tokens (ord eller delar av ord) med hjälp av algoritmer som BPE eller SentencePiece. Valet av tokeniserare och ordförrådsstorlek påverkar direkt modellens effektivitet och kvalitet.

Distribuerad träning och beräkningsresurser

Träning av modeller med hundratals miljarder eller biljoner parametrar kräver enorma beräkningsresurser och användning av tekniker för distribuerad träning.

• Hårdvara: Superdatorer bestående av tusentals GPU:er (t.ex. NVIDIA A100/H100) eller TPU:er (Google), förbundna med höghastighetsnätverk (t.ex. InfiniBand), används.
• Parallellism: Komplexa parallellismscheman används för att fördela beräkningarna:
  • Data Parallelism: Varje kopia av modellen på sin GPU bearbetar sin del av datan.
  • Model Parallelism: Modellen själv delas upp i delar som placeras på olika GPU:er. Inkluderar tensor-parallellism (uppdelning av matriser) och pipeline-parallellism (uppdelning av lager).
  • ZeRO (Zero Redundancy Optimizer): En teknik utvecklad av Microsoft DeepSpeed som eliminerar duplicering av parametrar, gradienter och optimerartillstånd, vilket möjliggör träning av betydligt större modeller.

• Ramverk: Specialiserade ramverk såsom DeepSpeed, Megatron-LM och Hugging Face Accelerate används för att implementera dessa komplexa scheman.

Historisk utveckling av metoder

• 1980–1990-tal: Statistiska språkmodeller baserade på n-gram.
• 2001–2010-tal: Framväxten av neurala språkmodeller baserade på RNN och LSTM, som bättre fångade långväga beroenden.
• 2017: Publiceringen av artikeln "Attention Is All You Need" och framkomsten av Transformer-arkitekturen, som möjliggjorde parallell träning.
• 2018–2019: Framväxten av de första förtränade transformermodellerna – GPT-1 och BERT – som befäste paradigmet "pre-training + fine-tuning".
• 2020: Lanseringen av GPT-3 markerade ett genombrott i skala och uppkomsten av emergenta few-shot-förmågor.
• 2022: Lanseringen av ChatGPT och populariseringen av RLHF som en nyckelmetod för att skapa hjälpsamma och säkra AI-assistenter.
• 2023–nu: Eran av multimodala modeller (GPT-4, Gemini), kapplöpningen om att utöka kontextfönstret och utvecklingen av agentiska förmågor.

Litteratur

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
• Brown, T. et al. (2020). Language Models are Few-Shot Learners. NIPS.
• Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. arXiv:2203.02155.

Externa länkar

• Introduktion till LLM – kurs från Hugging Face