---
title: "Nagy nyelvi modellek"
source: "https://systems-analysis.info/int/Nagy_nyelvi_modellek"
wiki: "systems-analysis.info/int"
article: "Nagy_nyelvi_modellek"
language: "hu"
categories:
  - "Category:Core LLM concepts"
  - "Category:Hungarian"
  - "Category:Large language models"
  - "Category:Machine learning"
revision_id: 4838
wiki_created_at: 2026-09-06T23:40:38Z
wiki_modified_at: 2026-09-06T23:40:38Z
downloaded_at: 2026-09-07T23:04:57Z
---

# Nagy nyelvi modellek

**Nagy nyelvi modell** (*large language model*, LLM) — a gépi tanulás egy olyan modelltípusa, amelyet mély neurális hálózattal valósítanak meg, nagy számú paraméterrel (általában milliárdos vagy annál nagyobb nagyságrendben), és nagy mennyiségű szöveges adaton tanítanak be. A „nagy" jelző ebben az összefüggésben egyszerre vonatkozik a paraméterek méretarányára és a tanítókorpusz terjedelmére, amely a modern rendszerekben eléri a több petabájtot és a billiónyi tokent. Az LLM-modellek tanítása elsősorban ön- vagy félig önfelügyelt (*self-/semi-supervised*) módszerrel történik: a modell a sorozat következő tokenjét jósolja meg, ezáltal elsajátítja a nyelv statisztikai törvényszerűségeit. A paraméterek, az adatok és a számítási lépések növelése kiszámítható minőségjavulást eredményez, amelyet a *scaling laws* támaszt alá.

A BERT (2017) megjelenése, és különösen a GPT-3 (2020) óta az LLM-alapú megközelítés vált meghatározóvá a természetes nyelvfeldolgozásban. A modern modellek (GPT-4o, Claude 3, Gemini 1.5, LLaMA 3 stb.) különleges beállítás nélkül képesek szövegeket és programkódot írni, fordítani, összefoglalni, kérdésekre válaszolni és következtetési láncokat felépíteni; a multimodális változatok képeket, hangot és videót is elemeznek. Az alkalmazott feladathoz való alkalmazkodás fine-tuning segítségével vagy prompt engineering, illetve *in-context learning* révén valósul meg. Az LLM-ek teljesítményük mellett öröklik a forrásadatok torzításait és hibáit, hajlamosak a „hallucinációra", és nagy számítási erőforrásokat igényelnek; ezért a kutatások ma a viselkedés összehangolására, a korpuszok szűrésére és az energiahatékony architektúrákra összpontosulnak.

## Architektúra

A modern LLM-ek szinte kivétel nélkül a **Transformer** (**transzformer**) architektúrát alkalmazzák – ez egy önfigyelmi mechanizmussal (self-attention) rendelkező hálózat. A transzformer modellt először az *Attention is All You Need* című cikkben ismertette a Google fejlesztőcsapata 2017-ben.

A **Transformer** architektúra szekvenciák feldolgozására szolgáló alapvető neurális hálózati séma, amely két logikai modulból áll: **enkóderből** (kódolja a bemenetet) és **dekóderből** (előállítja a kimenetet). A modell bemenete egy sorozat, amelyből vektoros reprezentáció (embedding) készül, majd pozicionális kódolás vektora adódik hozzá, ezután az elemek – sorrendtől független módon – az enkódáló komponensbe kerülnek (párhuzamos feldolgozás), majd a dekódáló komponens bemenetére kerül a sorozat egy része és az enkódáló kimenete. Eredményként egy új kimeneti sorozat jön létre.

A transzformer enkódáló komponense több azonos enkóder-rétegből áll; a dekódáló komponens hasonlóképpen épül fel. Maga a transzformer figyelmi modellek sorozata, amelyek az eredeti vektorsorozatot egy új sorozattá alakítják át, ahol minden elem figyelembe veszi a többi kontextusát. Az enkóder a bemeneti adatok rejtett reprezentációit állítja elő, megőrizve az elemek közötti kapcsolatokra vonatkozó információt. A dekóder a rejtett reprezentációk alapján új embedding-sorozatot hoz létre a kimeneti tokenek számára. Ezekből az embeddingekből a nyelvi modell segítségével generálódnak a végső kimeneti elemek.

Mivel a transzformereket eredetileg olyan feladatokra fejlesztették, mint a gépi fordítás, architektúrájuk tartalmaz **enkódert** (amely a bemeneti szöveget dolgozza fel, például a forrásmondat) és **dekódert** (amely a kimenetet állítja elő, például a fordítást). Sok nyelvi modellben azonban csak a dekódáló részt alkalmazzák, autoregresszív módban.

A transzformereket három fő konfigurációban alkalmazzák, amelyek mindegyike eltérő módon használja az enkódert és a dekódert, és más-más feladatkörre irányul:

- **Enkóder-transzformerek** (*kétirányú*) szándékosan elrejtett szövegrészletek visszaállítását tanulják meg, ezért jól alkalmazhatók „megértési" feladatokra – osztályozásra, tények kinyerésére, szemantikus keresésre.
- **Dekóder-transzformerek** (*autoregresszív*) a következő token előrejelzésére optimalizáltak, és ott alkalmazzák őket, ahol folyamatos kimenet szükséges: párbeszédes ügynökök, kódkiegészítés, kreatív generálás.
- **Teljes „enkóder + dekóder" sémák** ötvözik mindkét megközelítést: az enkóder az egész bemeneti szöveg reprezentációját építi fel, a dekóder pedig erre támaszkodva lépésről lépésre állítja elő az eredményt. Ez a konfiguráció gépi fordításhoz, összefoglaláshoz és kérdés-válasz rendszerekhez a leghatékonyabb.

### Tokenizáció

**A tokenizáció** a szövegfeldolgozás kulcsfontosságú kezdeti lépése a nagy nyelvi modellekben. Ebben a fázisban a szimbólumok folyamatos sorozatát különálló egységekre – tokenekre – bontják. A tokenizáció feladata a szimbólumsorozat strukturált elemek sorozatává alakítása, amelyek biztosítják a neurális hálózat hatékony működését.

Nyelvészeti szempontból a tokenizáció bizonyos mértékig megfeleltethetné a nyelv minimális, önálló jelentéssel vagy funkcionális szereppel bíró egységeinek – például szavaknak, morfémáknak vagy töredékeiknek – elkülönítési folyamatával. Ugyanakkor a token sokszor csupán statisztikailag gyakran előforduló szimbólumsorozat, ezért fontos, hogy ne becsüljük túl az *összes* token nyelvészeti értelmességét. Az alkalmazott sémától függően token lehet: teljes szó, részszó, egyedi karakter vagy jelölőcímke (például a sorozat elejét és végét jelző markerek).

A tokenizáció lehetővé teszi:

- a szókincs méretének kezelhető korlátok közé szorítását;
- a ritka és új szavak helyes kezelését;
- a szöveg egyértelmű leképezését numerikus azonosítók sorozatára.

A szöveg felosztásához részszavas algoritmusokat alkalmaznak; a legelterjedtebbek a **Byte Pair Encoding (BPE)**, a **WordPiece** és az **UnigramLM**. Mindegyik a korpusz leggyakoribb töredékeiből épít szótárt, és azt alkalmazza bármely bemeneti szöveg egymást követő szegmentálásához.

A tokenizációs lépés után a szöveg minden egységét – a tokent – a neurális hálózat számára értelmezhető numerikus reprezentációvá alakítják. Ez a folyamat több egymást követő lépésből áll:

- *Tokenek azonosítóvá alakítása*: Minden token egyedi numerikus indexhez rendelődik az előre felépített tokenszótár alapján. A szöveges tokeneket egyedi numerikus azonosítóikkal (ID) helyettesítik. Minden ID a token sorszáma az előre felépített szótárban, ami lehetővé teszi, hogy a neurális hálózat számokkal dolgozzon szavak helyett.
- *Azonosítók embeddingekké alakítása*: Minden token-azonosítóhoz kikeresik vagy kiszámítják a megfelelő, rögzített dimenziójú vektort – az **embeddinget** (embedding). Ez a többdimenziós numerikus reprezentáció felváltja az azonosítót, és már tartalmaz információt a token jelentéséről és kontextuális tulajdonságairól. Minden embedding azonos hosszúságú a feldolgozás megkönnyítése érdekében.
- *Pozicionális kódolások hozzáadása*: Mivel a Transformer architektúra önmagában nem veszi figyelembe az elemek *sorrendjét*, az embeddingekhez **pozicionális kódolásokat** (positional encodings) adnak hozzá, amelyek információt nyújtanak a token sorozatbeli pozíciójáról. Más szóval, ennek köszönhetően a modell „tudja", hogy melyik token áll az első, második, harmadik helyen és így tovább a mondatban.
- *Bemeneti mátrixok kialakítása*: A kimenet egy `[длина последовательности × размерность эмбеддинга]` méretű mátrix, amely a szöveg kezdeti reprezentációjaként szolgál, és a neurális hálózat, különösen a Transformer önfigyelmi (self-attention) blokkjainak bemenetére kerül. A mátrix minden sora egy tokennek felel meg, a benne lévő vektor pedig hordozza mind a token szemantikai értékét (embedding), mind a szövegbeli pozíciójára vonatkozó információt (pozicionális kódolás).

<!-- -->

    Текст → Токены → Идентификаторы → Эмбеддинги + Позиционные кодировки → Вход в модель

### A figyelmi mechanizmus

**A figyelmi mechanizmus (attention mechanism)** a Transformer architektúra kulcsfontosságú komponense, amely lehetővé teszi, hogy a tokenek közötti függőségeket a sorozatban elfoglalt *távolságuktól* függetlenül figyelembe vegyék. Miután a bemeneti szöveg vektorok sorozatává alakult, ez a sorozat a transzformer központi elemébe – a **figyelmi blokkba** (attention block) – kerül.

A figyelmi mechanizmus azt a módot jelenti, ahogyan a neurális hálózat meghatározza, hogy a bemeneti adatok mely részeire kell nagyobb figyelmet fordítani a sorozat egyes elemeinek feldolgozásakor. Ennek köszönhetően a szöveg egyes töredékeinek vektorai kölcsönhatásba léphetnek egymással, gazdagodnak az információval, és frissítik értékeiket a környező kontextus figyelembevételével. Ezáltal a modell képes hatékonyan megragadni mind a lokális, mind a távolabbi függőségeket a tokenek között, ami lényegesen javítja a komplex szövegstruktúrák értelmezési képességét.

A természetes nyelvben egy szó vagy kifejezés jelentése nem önmagában ragadható meg – a kontextustól, azaz a szövegkörnyezetben lévő többi szótól és szerkezettől függ. A neurális hálózatokban a szöveg vektoros reprezentációkon – embeddingeken – keresztül kódolódik, amelyek numerikusan tükrözik a tokenek lexikai és szintaktikai tulajdonságait. Közvetlen figyelmi mechanizmus nélkül (mint a Transformerben) a kontextusinformáció vagy elveszne nagy távolságokon (mint az egyszerű modellekben), vagy szekvenciálisan terjedne tovább, ami kevésbé hatékony a távolabbi kapcsolatok megragadásában. A természetes nyelvben azonban egy szó vagy szintaktikai szerkezet jelentése dinamikus, és értelmezésének a kontextustól függően kell alkalmazkodnia. A figyelmi mechanizmus a vektoros reprezentációk kontextualizálását végzi, **ami azt jelenti** (vagy egyszerűen **:**):

- Minden token „kiértékeli" saját fontosságát a mondat többi tokenjéhez képest.
- A frissítési folyamat során a vektoros reprezentációk kölcsönös információval gazdagodnak, tükrözve a szintaktikai függőségeket, szemantikai szerepeket és pragmatikai kontextust.

  
Ennek az információcserének eredményeként a frissített vektorok nemcsak *a token saját jelentését* kezdik kódolni, hanem grammatikai kapcsolatait (szintaxis), a leírt helyzetben betöltött szerepét (szemantika) és általános kontextusban való értelmét (pragmatika) is.

    Входные векторы токенов (с позициями) → Механизм Внимания (Взаимодействие векторов) → Контекстуализированные векторы токенов (Векторы обогащенные информацией о связях с другими токенами)

### A figyelmi mechanizmus technikai megvalósítása

A figyelmi mechanizmus belső felépítése több kulcsfontosságú számítási lépést és komponenst tartalmaz. Minden bemeneti vektorhoz három vektort generálnak: Lekérdezés (Query), Kulcs (Key) és Érték (Value). Ezek kölcsönhatása alapján számítják ki a figyelmi súlyokat, amelyeket aztán a frissített, kontextualizált vektoros reprezentációk előállítására használnak. Elterjedt megközelítés a többfejű architektúra (Multi-Head Attention) alkalmazása az információ párhuzamos feldolgozásához.

#### Lekérdezés (Query), Kulcs (Key), Érték (Value)

A figyelmi mechanizmus számításának alapja minden bemeneti vektor (amely a token embeddingje és pozicionális kódolása összegeként áll elő) három különböző vektoros reprezentációvá való átalakítása: Lekérdezés (Query, Q), Kulcs (Key, K) és Érték (Value, V).

Konceptuálisan ez a három vektor a következő szerepeket tölti be a figyelmi mechanizmusban:

- **Lekérdezés (Query)**: Az aktuális token vektorát jelenti, amely megindítja a releváns információ keresésének folyamatát a sorozatban. Tekinthető „kérdésként" vagy „szondaként", amelyet a többi token aktuálishoz viszonyított fontosságának értékelésére használnak.
- **Kulcs (Key):** Azonosítóként vagy „címkeként" funkcionál, amely az egyes tokenek tartalmának egy aspektusát írja le. Az aktuális token Lekérdezés (Q) vektorát összehasonlítják a sorozat összes Kulcs (K) vektorával (beleértve a sajátját is), hogy meghatározzák az egyezés vagy relevancia mértékét.
- **Érték (Value):** Tartalmazza az egyes tokenekhez rendelt tényleges információt vagy reprezentációt, amelyet továbbítanak. Miután a Lekérdezések és Kulcsok kölcsönhatása alapján kiszámítják a figyelmi súlyokat, ezeket a súlyokat az Érték vektorokra alkalmazzák, hogy kialakítsák a végső súlyozott reprezentációt, amely az adott tokenre vonatkozó figyelmi mechanizmus kimenetét képezi.

## Nagy nyelvi modellek tanítása

Az LLM-ek tanítása jellemzően két fázisban zajlik:

1.  **Előtanítás (Pretraining)** Ebben a fázisban a modell nagy, jelöletlen szövegkorpuszon tanul önfelügyelt tanulási módszerrel (self-supervised learning). A feladat a sorozat következő tokenjének előrejelzéséből (autoregresszió) vagy a rejtett részletek visszaállításából (maszkolásos tanítás) áll. Az előtanítás lehetővé teszi, hogy a modell elsajátítsa a nyelv kiterjedt statisztikai törvényszerűségeit, a grammatikát, a világgal kapcsolatos tényeket és az alapvető következtetési formákat.
2.  **Finomhangolás (Fine-tuning)** Az előtanítás után a modellt speciális adatokon tanítják tovább meghatározott feladatok elvégzésére, például válaszgenerálásra, szövegosztályozásra vagy utasítások végrehajtására. A modern megközelítések közé tartozik:
    - Felügyelt finomhangolás jelölt adathalmazokon (supervised fine-tuning).
    - Emberi visszajelzéssel megerősített tanulás (RLHF, reinforcement learning from human feedback) a modell viselkedésének a minőségi, biztonsági és hasznosságra vonatkozó célmutatókhoz való igazítása céljából.

## Problémák és korlátok

A lenyűgöző előrehaladás ellenére a modern nagy nyelvi modellek (LLM) számos problémával és korláttal rendelkeznek:

  
**I. Számítási és Architektúrális Korlátok**

1.  **Magas számítási költségek:** Az LLM-ek tanítása és üzemeltetése jelentős számítási kapacitást, időt és energiát igényel, ami magas gazdasági és környezeti költségekkel jár. Emellett a generálás autoregresszív jellege (a tokenek szekvenciális létrehozása) korlátozza a párhuzamosíthatóságot, és lassítja a következtetési sebességet a nem autoregresszív megközelítésekhez képest.
2.  **Kontextushossz korlátja:** A Transformer architektúra számítási költsége és memóriaigénye a sorozat hosszának négyzetével arányosan nő. Ez arra kényszerít, hogy rögzített korlátot (kontextusablakot) állítsanak be a modell által egyszerre feldolgozható szöveg mennyiségére, ami hosszú dokumentumok csonkolásához és az ablakon kívül eső információ elvesztéséhez vezet.

  
**II. A Generálás Megbízhatóságának és Pontosságának Problémái**

1.  **Hallucinációk:** Tényszerűen hibás, de meggyőzően hangzó információ generálása. Ez összefügg azzal, hogy a modell nem rendelkezik valódi világmegértéssel, statisztikai adatmintázatokra támaszkodik, és képtelen a generált állítások ellenőrzésére.
2.  **Hibaterjedés (Error Propagation):** Az a folyamat, amelynek során a generálás korai szakaszaiban elkövetett hibák felerősödnek, és növekvő pontatlanságokhoz vezetnek a következő lépésekben, csökkentve a szöveg általános minőségét és koherenciáját.
3.  **Korlátozott kompozicionalitás:** Nehézségek többlépéses logikai következtetést vagy pontos számításokat igénylő feladatoknál (például többjegyű számok szorzása, rejtvények megoldása). A modellek pontossága az ilyen feladatokon a generálás autoregresszív jellege miatt meredeken csökken a nehézség növekedésével.
4.  **Ismétlések:** Hajlam a szavak vagy mondatfrázisok felesleges ismétlésére, ami csökkenti a szöveg informatív értékét és olvashatóságát. Az edzési sajátosságokhoz és a dekódolási algoritmusokhoz (a következő token kiválasztásához) kapcsolódik.
5.  **Fordított átok (Reversal Curse):** A modell képtelensége arra, hogy automatikusan általánosítsa az ismereteket fordított irányban: ha az „A az B" állításon tanult, a modell gyakran nem tudja levezetni, hogy „B az A".
6.  **A „kreativitás-pontosság" kompromisszum:** Szükség van az egyensúly megteremtésére a változatos, eredeti válaszok generálása és a ténybeli pontosság fenntartása között. Az egyik szempontot javítani sokszor a másik rovására megy, például a magas kreativitás összefügghet a hallucinációk növekedésével.

**III. Interakció és Irányíthatóság Problémái:**

1.  **Alacsony irányíthatóság:** A generált szöveg stílusának, hangnemének, tartalmának vagy összetett utasítások követésének pontos szabályozásának nehézsége. Az irányíthatóság erősen függ a bemeneti utasítások (promptok) minőségétől és a finomhangolási módszerektől (fine-tuning).
2.  **Megfogalmazásérzékenység:** A bemeneti kérésben (promptban) bekövetkező kisebb változások lényegesen eltérő válaszokhoz vezethetnek, még akkor is, ha a kérés szemantikája megmarad. Ez megnehezíti a stabil és kiszámítható eredmények elérését.

  
**IV. Etikai és Társadalmi Szempontok:**

1.  **Az elfogultság és az igazságosság problémái:** A modellek reprodukálhatják és felerősíthetik a tanítási adatokban meglévő társadalmi sztereotípiákat, elfogultságot vagy toxicitást. A modellek méltányosságának és biztonságának biztosítása összetett feladat.
2.  **Az összehangolás problémája (LLM Alignment):** Általánosabb probléma, amely magában foglalja az előző pontot. Ez a modell viselkedésének az emberi értékekkel, szándékokkal és etikai normákkal való összhangba hozásának feladata. Magában foglalja az elfogultság, a hallucinációk és a káros tartalmak generálása elleni küzdelmet, valamint az irányíthatóság javítását.
3.  **A rosszindulatú felhasználás kockázatai:** Az LLM-ek felhasználásának lehetősége dezinformáció létrehozására és tömeges terjesztésére, adathalászatra, spamre, kártékony kód generálására vagy meggyőző hamis szövegek előállítására, ami veszélyeket jelent az információs és személyes biztonságra, és aláássa a társadalmi bizalmat.

## Hivatkozások:

- „Nagy nyelvi modell" // Vikipédia (Orosz verzió)
- *Large Language Model* // Wikipedia (English version)
- *Grand Modèle de Langage* // Wikipédia (Version française)
- *Sprachmodell* // Wikipedia (Deutsche version)

<!-- -->

- *Naveed H. et al*. // *A Comprehensive Overview of Large Language Models* // arXiv:2307.06435, 2023

## Irodalom

- Vaswani, A. et al. (2017). *Attention Is All You Need*. arXiv:1706.03762.
- Devlin, J. et al. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. arXiv:1810.04805.
- Brown, T. et al. (2020). *Language Models Are Few-Shot Learners*. arXiv:2005.14165.
- Kaplan, J. et al. (2020). *Scaling Laws for Neural Language Models*. arXiv:2001.08361.
- Hoffmann, J. et al. (2022). *Training Compute-Optimal Large Language Models*. arXiv:2203.15556.
- Ouyang, L. et al. (2022). *Training Language Models to Follow Instructions with Human Feedback*. arXiv:2203.02155.
- Bai, Y. et al. (2022). *Constitutional AI: Harmlessness from AI Feedback*. arXiv:2212.08073.
- Bubeck, S. et al. (2023). *Sparks of Artificial General Intelligence: Early Experiments with GPT-4*. arXiv:2303.12712.
- OpenAI. (2023). *GPT-4 Technical Report*. arXiv:2303.08774.
- Touvron, H. et al. (2024). *The Llama 3 Herd of Models*. arXiv:2407.21783.