--- title: "Теоретични основи на големите езикови модели" source: "https://systems-analysis.info/int/%D0%A2%D0%B5%D0%BE%D1%80%D0%B5%D1%82%D0%B8%D1%87%D0%BD%D0%B8_%D0%BE%D1%81%D0%BD%D0%BE%D0%B2%D0%B8_%D0%BD%D0%B0_%D0%B3%D0%BE%D0%BB%D0%B5%D0%BC%D0%B8%D1%82%D0%B5_%D0%B5%D0%B7%D0%B8%D0%BA%D0%BE%D0%B2%D0%B8_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" wiki: "systems-analysis.info/int" article: "Теоретични_основи_на_големите_езикови_модели" language: "bg" categories: - "Category:Bulgarian" - "Category:Core LLM concepts" - "Category:Large language models" - "Category:Machine learning" revision_id: 8803 wiki_created_at: 2026-09-07T01:22:54Z wiki_modified_at: 2026-09-07T01:22:54Z downloaded_at: 2026-09-07T23:27:23Z --- # Теоретични основи на големите езикови модели **Теоретични основи на големите езикови модели (на базата на архитектурата transformer)** — това е съвкупност от математически, статистически и информационно-теоретични принципи, които стоят в основата на функционирането, обучението и възможностите на съвременните големи езикови модели (LLM). Тези основи обясняват как моделите, изградени върху архитектурата Transformer, са способни да разбират и генерират човешки език с висока степен на кохерентност. ## Архитектурни основи: архитектура Transformer Съвременните LLM са почти изцяло базирани на архитектурата **Transformer**, представена през 2017 година в статията „Attention Is All You Need". Тази архитектура се отказа от рекурентните слоеве (като в RNN и LSTM), залагайки на механизма на **вниманието** (attention), което позволи ефективна обработка на дълги последователности и паралелизиране на изчисленията. ### Механизъм на само-вниманието (Self-Attention) Това е ядрото на архитектурата Transformer. Механизмът на само-вниманието позволява на модела да претегля важността на всяка дума (token) в последователността спрямо всички останали думи в същата последователност. За всеки token се създават три вектора: - **Query (Q, Заявка):** вектор, представящ текущата дума. - **Key (K, Ключ):** вектор, с който се сравняват заявките от другите думи. - **Value (V, Стойност):** вектор, съдържащ информация за думата, която ще бъде предадена нататък. Оценката на вниманието се изчислява като мащабирано скаларно произведение: $ext{Attention}(Q,K,V) = ext{softmax}\left( \frac{QK^{T}}{\sqrt{d_{k}}} \right)V$ където $d_{k}$ е размерността на векторите ключове. Този механизъм позволява на модела да улавя сложни контекстуални зависимости, независимо от разстоянието между думите. **Многоглавото внимание (Multi-Head Attention)** — това е паралелното изпълнение на няколко такива изчисления с различни матрици на проекция, което позволява на модела едновременно да се фокусира върху различни аспекти на синтаксиса и семантиката. ### Видове архитектури на базата на Transformer Съществуват три основни варианта за използване на компонентите на Transformer: 1. **Енкодер-декодер (Encoder-Decoder):** Класическата архитектура за задачи за преобразуване на последователност в последователност (например машинен превод). Енкодерът обработва входната последователност, а декодерът генерира изходната. Примери: T5, BART. 2. **Само енкодер (Encoder-Only):** Модели, използващи само стек от енкодери. Те са отлично подходящи за задачи, изискващи дълбоко разбиране на контекста на цялата последователност (класификация на текст, разпознаване на именувани същности). Пример: BERT. 3. **Само декодер (Decoder-Only):** Модели, използващи само стек от декодери. Те работят авторегресивно, предсказвайки следващия token на базата на предишните. Това е стандартът за генеративни модели. Примери: GPT, LLaMA, Claude. ### Позиционно кодиране Тъй като механизмът на само-вниманието не отчита реда на думите, към архитектурата се добавя **позиционно кодиране**. Към embedding-ите на токените се прибавят вектори, кодиращи тяхната позиция в последователността. В оригиналния модел се използваха синусоидални функции: $ext{PE}(ext{pos},2i) = \sin(ext{pos}/10000^{2i/d_{ext{model}}})$ $ext{PE}(ext{pos},2i + 1) = \cos(ext{pos}/10000^{2i/d_{ext{model}}})$ В съвременните модели се използват също обучаеми и ротационни (Rotary Position Embeddings, RoPE) позиционни кодировки. ## Принципи на обучението: от вероятност към оптимизация ### Езиково моделиране като вероятностна задача В основата на LLM стои задачата за **езиково моделиране** — предсказване на вероятността на последователност от текст. Формално, за последователност $X = (x_{1},x_{2},\ldots,x_{T})$ моделът оценява вероятността $P(X)$. С помощта на верижното правило на вероятностите това се разлага в произведение на условни вероятности: $P(X) = \prod\limits_{t = 1}^{T}P(x_{t}|x_{1},\ldots,x_{t - 1})$ По този начин обучението на модела се свежда до предсказване на следващия token $x_{t}$ на базата на контекста от предишните токени. ### Функция на загубата и теория на информацията За оценка на качеството на предсказванията и обучението на модела се използва **кросс-ентропийна функция на загубата**. Тя измерва разминаването между вероятностното разпределение, предсказано от модела ($q$), и истинското разпределение ($p$), при което правилният следващ token има вероятност 1, а останалите — 0. $H(p,q) = - \sum\limits_{i}p(i)\log q(i)$ Минимизирането на кросс-ентропията е еквивалентно на максимизирането на правдоподобието на обучаващите данни. Свързана метрика за качество е **перплексията**, която се определя като експонента от кросс-ентропията: $ext{Perplexity} = 2^{H(p,q)}$. Интуитивно, перплексията показва средния брой варианти, от които моделът „избира" на всяка стъпка. Колкото по-ниска е перплексията, толкова по-уверен и точен е моделът. ### Оптимизация Обучението на LLM е процес на минимизиране на функцията на загубата чрез коригиране на милиарди параметри на модела. За тази цел се използват методи, базирани на **градиентно спускане**. Най-разпространен е оптимизаторът **Adam** (Adaptive Moment Estimation) и неговите варианти (например AdamW), които адаптивно подбират скоростта на обучение за всеки параметър. ### Парадигми на обучението 1. **Предварително обучение (Pre-training):** Моделът се обучава върху огромни неанотирани текстови корпуси (Common Crawl, The Pile, C4) с използване на самонаблюдавани задачи, като: - **Каузално езиково моделиране (CLM):** Предсказване на следващия token (използва се в GPT). - **Маскирано езиково моделиране (MLM):** Възстановяване на случайно маскирани токени в текста (използва се в BERT). 2. **Дообучение (Fine-tuning):** След предварителното обучение моделът се адаптира към конкретни задачи върху малки анотирани набори от данни. 3. **Изравняване (Alignment):** Специален етап на дообучение, насочен към съгласуване на поведението на модела с човешките предпочитания и ценности. Ключовият метод е **RLHF (Reinforcement Learning from Human Feedback)**, при който моделът се дообучава с използване на сигнал за награда от модел, предсказващ човешките предпочитания. ## Закони за мащабиране и емерджентни способности Емпиричните изследвания показаха, че производителността на LLM се подобрява предвидимо с увеличаването на три фактора: размера на модела (брой параметри, $N$), размера на обучаващия набор от данни ($D$) и обема на изчисленията ($C$). Тази зависимост се описва от **степенни закони (scaling laws)**. Законът, предложен в работата на OpenAI (Kaplan et al., 2020), показва, че функцията на загубата $L$ намалява като степенна функция от $N$, $D$ и $C$. По-късната работа на DeepMind (Hoffmann et al., 2022) прецизира тези закони (**закони Chinchilla**), показвайки, че за оптимално обучение е необходимо балансирано увеличаване както на размера на модела, така и на обема от данни. Важно следствие от мащабирането е появата на **емерджентни способности** — качествени скокове в производителността, когато моделът започва да решава задачи, за които не е бил явно обучен (например аритметика, логически разсъждения, писане на код). Тези способности, като правило, отсъстват при модели с по-малък размер и се проявяват само след достигане на определен праг на мащаба. ## Генериране на текст: стратегии за декодиране След обучението моделът генерира текст, итеративно предсказвайки следващия token. Изборът на следващия token от вероятностното разпределение, предоставено от модела, се осъществява с помощта на различни **стратегии за декодиране**: - **Алчно търсене (Greedy Search):** Винаги се избира най-вероятният token. Бързо, но често води до повтарящ се и скучен текст. - **Лъчево търсене (Beam Search):** На всяка стъпка се запазват $k$ най-вероятни последователности, което позволява намирането на по-оптимални глобални решения. - **Семплиране с температура:** Вероятностите на токените се коригират с параметъра **температура** ($T$). При $T > 1$ разпределението става по-равномерно (повече креативност), при $T < 1$ — по-пикообразно (по-малко случайност). - **Top-k семплиране:** На всяка стъпка изборът се ограничава до $k$ най-вероятни токени. - **Top-p (Nucleus) семплиране:** Изборът се ограничава до минималния набор от токени, чиято обща вероятност надвишава прага $p$. Това позволява динамично адаптиране на размера на пула от кандидати. ## Теоретични проблеми и ограничения - **Халюцинации:** Склонността на моделите да генерират фактически невярна, но правдоподобно звучаща информация. Това е свързано с факта, че моделите оптимизират вероятността на текста, а не неговата истинност. - **Предубеденост (Bias):** LLM наследяват и усилват социални, културни и други предубедености, присъстващи в обучаващите данни. - **Интерпретируемост („черна кутия"):** Поради огромния брой параметри е изключително трудно да се разбере как точно моделът взема решения, което затруднява отстраняването на грешки и създава рискове. - **Изчислителна сложност:** Механизмът на само-вниманието има квадратична сложност спрямо дължината на последователността ($O(n^{2})$), което ограничава максималната дължина на обработвания контекст. ## Вижте също - Големи езикови модели - BERT - GPT ## Литература - Vaswani, A. et al. (2017). *Attention Is All You Need*. arXiv:1706.03762. - Devlin, J. et al. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. arXiv:1810.04805. - Brown, T. B. et al. (2020). *Language Models Are Few-Shot Learners*. arXiv:2005.14165. - Kaplan, J. et al. (2020). *Scaling Laws for Neural Language Models*. arXiv:2001.08361. - Hoffmann, J. et al. (2022). *Training Compute-Optimal Large Language Models*. arXiv:2203.15556. - Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903. - Ouyang, L. et al. (2022). *Training Language Models to Follow Instructions with Human Feedback*. arXiv:2203.02155. - Bai, Y. et al. (2022). *Constitutional AI: Harmlessness from AI Feedback*. arXiv:2212.08073. - Bubeck, S. et al. (2023). *Sparks of Artificial General Intelligence: Early Experiments with GPT-4*. arXiv:2303.12712. - Touvron, H. et al. (2024). *The Llama 3 Herd of Models*. arXiv:2407.21783. - Bender, E. M. et al. (2021). *On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?*. DOI:10.1145/3442188.3445922.