Trenowanie dużych modeli językowych

Trenowanie dużych modeli językowych (LLM) — to złożony i zasobochłonny proces, w trakcie którego sieć neuronowa z miliardami parametrów jest uczona na ogromnych zbiorach danych tekstowych w celu rozumienia i generowania języka ludzkiego. Proces ten jest kamieniem węgielnym w tworzeniu nowoczesnych LLM, takich jak GPT, BERT, Claude i Gemini.

Podstawy teoretyczne uczenia

Architektura Transformer i mechanizm uwagi

Nowoczesne LLM opierają się niemal w całości na architekturze Transformer, która umożliwia efektywne przetwarzanie długich sekwencji tekstu. Kluczowym komponentem jest mechanizm samo-uwagi (self-attention), który pozwala modelowi na ważenie istotności każdego słowa w kontekście całej sekwencji. Umożliwia to wychwytywanie odległych zależności oraz równoległe przetwarzanie danych, co znacznie przyspiesza uczenie w porównaniu z sieciami rekurencyjnymi (RNN).

Podstawowe zadanie: przewidywanie następnego tokenu

Fundamentalnym zadaniem, na którym uczona jest większość LLM (szczególnie generatywnych, takich jak GPT), jest modelowanie języka. Model uczy się przewidywać następny token (słowo lub część słowa) w sekwencji na podstawie wszystkich poprzednich tokenów. Formalnie model maksymalizuje prawdopodobieństwo sekwencji $P(X)$ poprzez jej rozkład zgodnie z regułą łańcuchową:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

Do uczenia stosowana jest krossentropijná funkcja strat, która mierzy rozbieżność między przewidywanym przez model rozkładem prawdopodobieństwa a rzeczywistym następnym tokenem.

Etapy uczenia

Proces uczenia LLM składa się zazwyczaj z dwóch głównych etapów.

1. Wstępne uczenie (Pre-training)

Jest to najbardziej rozległy i obliczeniowo kosztowny etap, w którym model zdobywa swoją fundamentalną wiedzę o języku i świecie.

• Dane: Model jest uczony na gigantycznych korpusach nieoznakowanego tekstu, których objętość może sięgać bilionów tokenów. Źródła danych obejmują strony internetowe (np. Common Crawl), Wikipedię, cyfrowe biblioteki książek (Google Books) oraz repozytoria kodu (GitHub).
• Cel: Ukształtowanie uniwersalnych reprezentacji językowych. Model uczy się gramatyki, składni, faktów, a nawet pewnych elementów rozumowania logicznego.
• Proces: Jest to uczenie samo-nadzorowane (self-supervised learning), gdzie etykiety (poprawne następne tokeny) są wyodrębniane z samych danych. Uczenie może trwać tygodnie lub miesiące na klastrach złożonych z tysięcy GPU lub TPU.

2. Dostrajanie (Fine-tuning) i wyrównywanie (Alignment)

Po wstępnym uczeniu „surowy" model musi zostać zaadaptowany do konkretnych zadań i dostosowany do ludzkich oczekiwań.

• Dostrajanie z nadzorem (Supervised Fine-tuning): Model jest dostrajany na niewielkim, lecz wysokiej jakości zbiorze oznakowanych danych (np. parach „instrukcja–odpowiedź"), aby nauczyć się stosowania się do poleceń.
• Uczenie ze wzmocnieniem na podstawie informacji zwrotnej od człowieka (RLHF): Jest to kluczowa metoda wyrównywania. Proces obejmuje kilka kroków:

1. 1. Annotatorzy-ludzie rangują kilka odpowiedzi modelu na to samo zapytanie od najlepszej do najgorszej.
   2. Na tych danych uczony jest model nagrody (reward model), który uczy się przewidywać, którą odpowiedź preferuje człowiek.
   3. Główny LLM jest dostrajany za pomocą algorytmów uczenia ze wzmocnieniem (np. PPO), wykorzystując model nagrody jako źródło sygnału, aby generować bardziej pomocne, uczciwe i bezpieczne odpowiedzi.

To dwuetapowe podejście (pre-training + fine-tuning/alignment) stało się standardem branżowym, umożliwiając tworzenie potężnych, a zarazem sterowalnych modeli językowych.

Aspekty praktyczne

Dane: zbieranie, skala i przygotowanie

Jakość i skala danych są decydującymi czynnikami sukcesu LLM.

• Zbieranie: Wykorzystywane są różnorodne źródła, aby zapewnić szerokie pokrycie tematów, stylów i języków.
• Czyszczenie i filtrowanie: Krytycznie ważny etap obejmujący usuwanie duplikatów, filtrowanie niskiej jakości lub toksycznych treści oraz balansowanie źródeł, aby model nie przeuczył się na specyficznym języku internetowym.
• Tokenizacja: Tekst jest dzielony na tokeny (słowa lub podłowa) za pomocą algorytmów takich jak BPE lub SentencePiece. Wybór tokenizatora i rozmiaru słownika bezpośrednio wpływa na efektywność i jakość modelu.

Uczenie rozproszone i zasoby obliczeniowe

Uczenie modeli z setkami miliardów lub bilionami parametrów wymaga ogromnych zasobów obliczeniowych i zastosowania technik uczenia rozproszonego.

• Sprzęt: Wykorzystywane są superkomputery składające się z tysięcy GPU (np. NVIDIA A100/H100) lub TPU (Google), połączonych szybkimi sieciami (np. InfiniBand).
• Równoległość: Do dystrybucji obliczeń stosowane są złożone schematy równoległości:
  • Data Parallelism: Każda kopia modelu na własnym GPU przetwarza swoją część danych.
  • Model Parallelism: Sam model jest dzielony na części rozmieszczane na różnych GPU. Obejmuje równoległość tensorową (podział macierzy) i potokową (podział warstw).
  • ZeRO (Zero Redundancy Optimizer): Technologia opracowana przez Microsoft DeepSpeed, która eliminuje duplikowanie parametrów, gradientów i stanów optymalizatora, umożliwiając uczenie znacznie większych modeli.

• Frameworki: Do realizacji tych złożonych schematów używane są wyspecjalizowane frameworki, takie jak DeepSpeed, Megatron-LM i Hugging Face Accelerate.

Historyczna ewolucja podejść

• Lata 1980–1990: Statystyczne modele językowe oparte na n-gramach.
• Lata 2001–2010: Pojawienie się neuronowych modeli językowych opartych na RNN i LSTM, które lepiej wychwytywały długoterminowe zależności.
• 2017: Publikacja artykułu „Attention Is All You Need" i pojawienie się architektury Transformer, która umożliwiła równoległe uczenie.
• 2018–2019: Pojawienie się pierwszych wstępnie uczonych transformerów — GPT-1 i BERT, które utrwaliły paradygmat „pre-training + fine-tuning".
• 2020: Wydanie GPT-3 oznaczało przełom w skali i pojawienie się emergentnych zdolności few-shot.
• 2022: Uruchomienie ChatGPT i popularyzacja RLHF jako kluczowej metody tworzenia pomocnych i bezpiecznych asystentów AI.
• 2023–obecnie: Era modeli multimodalnych (GPT-4, Gemini), wyścig o powiększanie okna kontekstowego i rozwój możliwości agentowych.

Literatura

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
• Brown, T. et al. (2020). Language Models are Few-Shot Learners. NIPS.
• Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. arXiv:2203.02155.

Linki

• Wprowadzenie do LLM — kurs od Hugging Face