--- title: "Decoder (Transformer) (NL)" source: "https://systems-analysis.info/int/Decoder_(Transformer)_(NL)" wiki: "systems-analysis.info/int" article: "Decoder_(Transformer)_(NL)" language: "nl" categories: - "Category:Core LLM concepts" - "Category:Dutch" - "Category:Large language models" - "Category:LLM core concepts" - "Category:Machine learning" revision_id: 1571 wiki_created_at: 2026-09-06T22:50:43Z wiki_modified_at: 2026-09-06T22:50:43Z downloaded_at: 2026-09-07T22:46:39Z --- # Decoder (Transformer) (NL) **Decoder** (Engels: Decoder) — in Machine Learning en deep learning is dit een component van een neuraal netwerk waarvan de hoofdtaak bestaat uit het omzetten van een gecodeerde representatie (bijvoorbeeld een contextvector of een reeks verborgen toestanden afkomstig van een encoder) naar een uitvoerreeks van gegevens (bijvoorbeeld tekst of een afbeelding). De decoder genereert de uitvoergegevens stap voor stap, doorgaans in een autoregressieve modus. In bredere zin is een decoder, in de informatietheorie, elk apparaat of algoritme dat gecodeerde gegevens terugzet naar hun oorspronkelijke of begrijpelijke formaat. ## Concept en doel Als de encoder verantwoordelijk is voor het **begrijpen** en comprimeren van de invoergegevens, dan is de decoder verantwoordelijk voor het **genereren** en ontvouwen van de uitvoergegevens. Hij neemt een compacte, informatierijke representatie en zet deze stap voor stap om naar het gewenste formaat, of dat nu een zin in een andere taal is, een tekstbeschrijving van een afbeelding of een reeks muzieknoten. Een kernkenmerk van de meeste decoders is hun **autoregressieve** aard: voor het genereren van het volgende element in de reeks (bijvoorbeeld een woord of een pixel) gebruiken ze zowel de gecodeerde representatie als alle eerder gegenereerde elementen. ## De decoder in verschillende architecturen ### De decoder in een autoencoder In de architectuur van een **autoencoder** voert de decoder de omgekeerde taak uit van de encoder: 1. De **encoder** comprimeert de invoergegevens tot een verborgen representatie. 2. De **decoder** neemt deze verborgen representatie en probeert de oorspronkelijke gegevens daaruit te reconstrueren. Het trainen van zo'n netwerk maakt het mogelijk de decoder afzonderlijk te gebruiken voor het genereren van nieuwe gegevens, door vectoren uit de latente ruimte als invoer aan te bieden. ### De decoder in recurrente neurale netwerken (RNN/LSTM) In klassieke sequence-to-sequence-modellen (seq2seq), gebaseerd op RNN of LSTM, is de decoder een recurrent netwerk dat de uitvoerreeks token voor token genereert. - **Werkingsprincipe:** De decoder wordt geïnitialiseerd met de uiteindelijke verborgen toestand (de contextvector) van de encoder. Op elke stap ontvangt hij het eerder gegenereerde token en zijn eigen vorige verborgen toestand als invoer, waarna hij het volgende token genereert en zijn toestand bijwerkt. Dit proces gaat door totdat een speciaal einde-van-reeks-token (\`\\`) wordt gegenereerd. ### De decoder in de Transformer-architectuur De decoder op basis van de **Transformer**-architectuur werkt eveneens autoregressief, maar zijn interne structuur wijkt af. Hij bestaat uit een stapel ($N$) identieke lagen, elk met drie belangrijke sublagen: 1. **Gemaskeerde multi-head self-attention (Masked Multi-Head Self-Attention):** Dit mechanisme werkt op dezelfde manier als in de encoder, maar met één belangrijk verschil: **maskering**. Het masker verhindert dat elke positie "aandacht besteedt" aan latere posities in de reeks. Dit garandeert dat de voorspelling voor positie $i$ alleen afhankelijk is van reeds bekende uitvoerwaarden op posities $< i$, waarmee de autoregressieve eigenschap behouden blijft. 2. **Multi-head cross-attention (Multi-Head Cross-Attention):** Dit is het sleutelmechanisme dat de decoder verbindt met de encoder. Hierbij zijn de queries (Query) afkomstig van de vorige laag van de decoder, terwijl de sleutels (Key) en waarden (Value) afkomstig zijn van de uitvoerrepresentaties van de encoder. Dit stelt de decoder in staat om op elke generatiestap te focussen op de meest relevante delen van de invoerreeks. 3. **Volverbonden neuraal netwerk (Feed-Forward Network):** Vergelijkbaar met dat gebruikt in de encoder. ## Typen modellen op basis van de decoder ### Encoder-decoder-modellen Dit is de klassieke architectuur waarbij encoder en decoder samenwerken. - **Werkingsprincipe:** De encoder maakt een representatie van de invoergegevens, en de decoder genereert de uitvoergegevens aan de hand van die representatie. - **Voorbeelden:** De originele Transformer, T5, BART. ### Alleen-decoder-modellen (Decoder-Only) Deze modellen, die dominant zijn geworden in generatieve AI, maken uitsluitend gebruik van een stapel Transformer-decoders. - **Werkingsprincipe:** In dergelijke modellen is er geen cross-attention naar een encoder, omdat er geen encoder aanwezig is. Het model werkt puur in autoregressieve modus en voorspelt het volgende token op basis van alle voorgaande tokens in dezelfde reeks. De invoerprompt en de reeds gegenereerde tekst worden samen verwerkt. - **Toepassing:** Ideaal voor taken waarbij een gegeven tekst voortgezet moet worden (tekstgeneratie, dialoogsystemen, chatbots). - **Voorbeelden:** De GPT-serie, LLaMA, Claude. ## Relatie met de encoder De interactie tussen encoder en decoder is een fundamenteel principe voor omzettingstaken. - De **encoder** comprimeert informatie over de invoerreeks tot een verzameling vectoren. - De **decoder** gebruikt deze verzameling vectoren om stap voor stap een nieuwe reeks te genereren. Cross-attention stelt de decoder in staat om op elke stap te "raadplegen" met de encoder, om te begrijpen op welk deel van de bronprikkel hij op dat moment moet focussen. Zo kan de decoder bij het vertalen van een zin, wanneer hij een Duits woord genereert, "kijken" naar het bijbehorende Engelse woord uit de invoer. ## Zie ook - GPT ## Literatuur - Vaswani, A. et al. (2017). *Attention Is All You Need*. NIPS.