--- title: "Encoder (Transformator) (DE)" source: "https://systems-analysis.info/int/Encoder_(Transformator)_(DE)" wiki: "systems-analysis.info/int" article: "Encoder_(Transformator)_(DE)" language: "de" categories: - "Category:Core LLM concepts" - "Category:German" - "Category:Large language models" - "Category:Machine learning" revision_id: 1940 wiki_created_at: 2026-09-06T22:56:19Z wiki_modified_at: 2026-09-06T22:56:19Z downloaded_at: 2026-09-07T22:48:35Z --- # Encoder (Transformator) (DE) **Encoder** (deutsch: Kodierer) ist im maschinellen Lernen und Deep Learning eine Komponente eines neuronalen Netzes, deren Hauptaufgabe darin besteht, eine Eingabesequenz von Daten (z. B. Text oder Bilder) in eine reichhaltige numerische Repräsentation umzuwandeln, die üblicherweise als **latenter Zustand**, **Kontextvektor** oder **Embedding** bezeichnet wird. Diese Repräsentation erfasst die wesentlichen Merkmale und die Semantik der Eingabedaten in einer für die weitere Verarbeitung geeigneten Form. Im weiteren Sinne ist ein Encoder in der Informationstheorie jedes Gerät oder jeder Algorithmus, der Informationen von einem Format in ein anderes umwandelt, oft zum Zweck der Komprimierung oder Übertragung. ## Konzept und Zweck Das Hauptziel eines Encoders in neuronalen Netzen ist es, nützliche Merkmale aus den Eingabedaten zu extrahieren und sie in einen dichten Vektor fester Länge zu „kodieren“. Dieser Prozess kann als eine Form der nichtlinearen Dimensionsreduktion betrachtet werden, bei der hochdimensionale und spärliche Eingabedaten (z. B. Text, der durch One-Hot-Vektoren repräsentiert wird) in einen niedrigdimensionalen, aber informationsreichen Vektorraum (latenter Raum) transformiert werden. Dieser kodierte Vektor kann anschließend verwendet werden: - von einem **Decoder** zur Generierung einer neuen Sequenz (z. B. bei der maschinellen Übersetzung). - von einem **Klassifikator** zur Lösung von Analyseaufgaben (z. B. zur Bestimmung der Textstimmung). - für Aufgaben, die ein Verständnis des gesamten Eingabekontexts erfordern. ## Encoder in verschiedenen Architekturen ### Encoder im Autoencoder Eines der klassischen Beispiele ist die Architektur des **Autoencoders**. Er besteht aus zwei Teilen: 1. **Encoder:** Komprimiert die Eingabedaten in eine niedrigdimensionale latente Repräsentation (latenter Code). 2. **Decoder:** Versucht, die ursprünglichen Daten aus dieser komprimierten Repräsentation wiederherzustellen. Durch das Training eines solchen Netzes zur Minimierung des Rekonstruktionsfehlers lernt der Encoder, die wichtigsten Merkmale aus den Daten zu extrahieren. ### Encoder in rekurrente neuronalen Netzen (RNN/LSTM) Vor dem Aufkommen der Transformer-Architektur wurden Encoder für Sequenz-zu-Sequenz-Aufgaben (seq2seq) auf der Grundlage von rekurrente neuronalen Netzen (RNN) oder ihrer verbesserten Variante LSTM aufgebaut. - **Funktionsprinzip:** Ein RNN-Encoder verarbeitet die Eingabesequenz Token für Token. Bei jedem Schritt aktualisiert er seinen **latenten Zustand**, indem er Informationen über das aktuelle Token und den vorherigen Zustand einbezieht. Der endgültige latente Zustand, der nach der Verarbeitung der gesamten Sequenz erhalten wird, wird als ein Vektor betrachtet, der die Bedeutung der gesamten Eingabesequenz kodiert. Dieser Vektor wird oft als **Kontextvektor** oder „Gedankenvektor“ (thought vector) bezeichnet. ### Encoder in der Transformer-Architektur Die Revolution in der Verarbeitung natürlicher Sprache ist mit dem Aufkommen des Encoders auf Basis der **Transformer**-Architektur verbunden. Im Gegensatz zu RNNs verarbeitet er alle Token der Sequenz parallel. Der Transformer-Encoder besteht aus einem Stapel ($N$) identischer Schichten. Jede Schicht hat zwei Haupt-Subschichten: 1. **Multi-Head Self-Attention:** Dieser Mechanismus ermöglicht es jedem Token in der Eingabesequenz, auf alle anderen Token zu „achten“ und deren Wichtigkeit abzuwägen, um seine eigene kontextuelle Repräsentation zu bilden. Dies ermöglicht es dem Modell, komplexe Abhängigkeiten zwischen Wörtern unabhängig von ihrer Position zu erfassen. 2. **Feed-Forward-Netzwerk:** Wird auf die Repräsentation jedes Tokens einzeln angewendet, um eine weitere nichtlineare Transformation durchzuführen. Der entscheidende Unterschied zwischen einem Transformer-Encoder und einem RNN-Encoder besteht darin, dass er am Ausgang nicht einen einzelnen Kontextvektor ausgibt, sondern eine **Sequenz kontextualisierter Vektoren** – einen für jedes Eingabe-Token. Jeder dieser Vektoren enthält Informationen über sein Token im Kontext der gesamten Sequenz. ## Modelltypen basierend auf dem Encoder ### Encoder-Decoder-Modelle Dies ist die klassische Architektur für Sequenz-zu-Sequenz-Aufgaben (seq2seq), wie maschinelle Übersetzung oder Textzusammenfassung. - **Funktionsprinzip:** Der Encoder verarbeitet die gesamte Eingabesequenz (z. B. einen Satz in der Ausgangssprache). Seine Ausgabe-Repräsentationen werden dann an den Decoder übergeben, der diese nutzt, um autoregressiv die Ausgabesequenz (den Satz in der Zielsprache) zu generieren. Der Decoder „schaut“ auf die Ausgabe des Encoders mithilfe eines speziellen **Cross-Attention**-Mechanismus. - **Beispiele:** Der ursprüngliche Transformer, T5, BART. ### Reine Encoder-Modelle (Encoder-Only) Diese Modelle verwenden ausschließlich den Encoder-Stapel des Transformers. - **Funktionsprinzip:** Sie sind für Aufgaben konzipiert, die ein tiefes Verständnis des Kontexts des gesamten Eingabetextes erfordern. Dank der bidirektionalen Natur des Self-Attention-Mechanismus erzeugen sie reichhaltige kontextuelle Repräsentationen für jedes Token. - **Anwendung:** Ideal für Aufgaben des Sprachverständnisses (Natural Language Understanding, NLU), wie zum Beispiel: - Textklassifikation (z. B. Sentiment-Analyse). - Erkennung benannter Entitäten (Named Entity Recognition, NER). - Beantwortung von Fragen (Question Answering), bei denen die Antwort ein Fragment aus dem Text ist. - **Beispiel:** BERT und seine Derivate (RoBERTa, ALBERT). ## Verbindung zum Decoder In der Encoder-Decoder-Architektur erfüllen Encoder und Decoder komplementäre Rollen: - Der **Encoder** ist für das **Verständnis** der Eingabesequenz verantwortlich. - Der **Decoder** ist für die **Generierung** der Ausgabesequenz verantwortlich. Das zentrale Bindeglied zwischen ihnen ist der **Cross-Attention**-Mechanismus innerhalb des Decoders. Bei jedem Generierungsschritt bildet der Decoder eine Anfrage (Query) basierend auf dem bereits generierten Teil der Ausgabesequenz und verwendet diese, um auf die Ausgabe-Repräsentationen des Encoders (die als Schlüssel (Key) und Werte (Value) dienen) zu „achten“. Dies ermöglicht es dem Decoder, sich auf die relevantesten Teile der Eingabesequenz zu konzentrieren, um das nächste Token zu generieren. ## Siehe auch - BERT ## Literatur - Hinton, G. E.; Salakhutdinov, R. R. (2006). *Reducing the Dimensionality of Data with Neural Networks*. *Science*. DOI:10.1126/science.1127647. - Cho, K. et al. (2014). *Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation*. arXiv:1406.1078. - Sutskever, I.; Vinyals, O.; Le, Q. V. (2014). *Sequence to Sequence Learning with Neural Networks*. arXiv:1409.3215. - Bahdanau, D.; Cho, K.; Bengio, Y. (2015). *Neural Machine Translation by Jointly Learning to Align and Translate*. arXiv:1409.0473. - Kingma, D. P.; Welling, M. (2014). *Auto-Encoding Variational Bayes*. arXiv:1312.6114. - Vaswani, A. et al. (2017). *Attention Is All You Need*. arXiv:1706.03762. - Devlin, J. et al. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. arXiv:1810.04805. - Dai, Z. et al. (2019). *Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context*. arXiv:1901.02860. - Raffel, C. et al. (2020). *Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer*. arXiv:1910.10683. - Brown, T. B. et al. (2020). *Language Models Are Few-Shot Learners*. arXiv:2005.14165. - Dosovitskiy, A. et al. (2020). *An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale*. arXiv:2010.11929.