Encoder-only models (Encoder-Only-Modelle)

Encoder-Only-Modelle (engl. Encoder-Only Models) sind eine Klasse von Architekturen großer Sprachmodelle (LLM), die ausschließlich auf dem Encoder-Teil der Transformer-Architektur basieren. Im Gegensatz zu Modellen, die einen Decoder oder eine vollständige Encoder-Decoder-Architektur verwenden, sind diese Modelle auf Aufgaben des Verstehens natürlicher Sprache (Natural Language Understanding, NLU) spezialisiert.

Das Flaggschiff-Modell und der Pionier dieses Ansatzes ist BERT (Bidirectional Encoder Representations from Transformers), das 2018 von Google entwickelt wurde.

Konzept und Architektur

Die Grundidee von Encoder-Only-Modellen besteht darin, tiefe, kontextualisierte Repräsentationen (Embeddings) für jedes Token in der Eingabesequenz zu erstellen. Dank des Self-Attention-Mechanismus im Transformer kann jedes Token alle anderen Tokens in der Sequenz „sehen“ und mit ihnen interagieren, wodurch das Modell einen reichen Kontext erfassen kann.

Ein Schlüsselmerkmal ist die Bidirektionalität: Die Repräsentation jedes Tokens wird gleichzeitig auf der Grundlage des linken und des rechten Kontexts gebildet. Dies unterscheidet sie grundlegend von autoregressiven Decoder-Only-Modellen (wie GPT), die von Natur aus unidirektional sind.

Architektonisch besteht das Modell aus einem Stapel von $N$ identischen Encoder-Schichten. Jede Schicht besteht aus zwei Haupt-Subschichten:

1. Multi-Head Self-Attention: Berechnet eine kontextualisierte Repräsentation für jedes Token.
2. Feed-Forward-Netzwerk: Wendet eine nichtlineare Transformation auf jede Token-Repräsentation an.

Am Ausgang erzeugt das Modell eine Sequenz von Vektoren, die dieselbe Länge wie die Eingabesequenz hat, wobei jeder Vektor eine reichhaltige Repräsentation des entsprechenden Eingabe-Tokens darstellt.

Pre-Training-Aufgaben

Um das Modell zu trainieren, Sprache in einem bidirektionalen Kontext zu verstehen, werden spezielle selbstüberwachte Pre-Training-Aufgaben verwendet:

Masked Language Modeling (MLM)

Dies ist die zentrale und wichtigste Aufgabe für Encoder-Only-Modelle, die erstmals in BERT vorgestellt wurde.

• Funktionsprinzip: Ein kleiner Prozentsatz der Tokens in der Eingabesequenz (typischerweise 15 %) wird zufällig ausgeblendet (maskiert). Die Aufgabe des Modells besteht darin, die ursprünglichen Werte dieser maskierten Tokens unter Verwendung des sie umgebenden bidirektionalen Kontexts vorherzusagen.
• Ziel: Diese Aufgabe zwingt das Modell, tiefe semantische und syntaktische Beziehungen zwischen Wörtern zu lernen.

Next Sentence Prediction (NSP)

Diese Aufgabe (ebenfalls aus dem ursprünglichen BERT) wurde entwickelt, um dem Modell beizubringen, die Beziehungen zwischen Sätzen zu verstehen.

• Funktionsprinzip: Dem Modell wird ein Satzpaar vorgelegt, und es muss bestimmen, ob der zweite Satz eine logische Fortsetzung des ersten im Originaltext ist.
• Status: Spätere Forschungen (z. B. im RoBERTa-Modell) zeigten, dass NSP weniger effektiv ist als MLM und oft durch andere Aufgaben ersetzt oder ganz weggelassen wird.

Anwendung

Encoder-Only-Modelle sind nicht für die freie Textgenerierung konzipiert, da ihnen ein autoregressiver Decoder fehlt. Ihre Stärke liegt in der Analyse und dem Verständnis von Text. Die Ausgabe-Vektorrepräsentationen des Modells werden zur Lösung eines breiten Spektrums von NLU-Aufgaben verwendet:

• Textklassifikation: Für Aufgaben wie die Sentimentanalyse oder die Themenbestimmung wird die Repräsentation eines speziellen [CLS]-Tokens verwendet, das an den Anfang jeder Sequenz gestellt wird. Sein finaler Vektor aggregiert Informationen über die gesamte Sequenz.
• Token-Klassifikation: Für Aufgaben wie die Erkennung benannter Entitäten (Named Entity Recognition, NER) oder das Part-of-Speech-Tagging (POS-Tagging) werden die Vektorrepräsentationen jedes einzelnen Tokens verwendet.
• Question Answering: Bei Aufgaben, bei denen die Antwort ein Auszug aus einem gegebenen Text ist (extractive QA), wird das Modell darauf trainiert, die Start- und End-Tokens der Antwort vorherzusagen.
• Embedding-Extraktion: Encoder-Modelle werden oft als universelle Text-Encoder verwendet, um hochwertige Embeddings für Sätze oder Dokumente zu erhalten, die dann in Suchmaschinen oder für Aufgaben der semantischen Ähnlichkeit eingesetzt werden können.

Wichtige Modelle und ihre Entwicklung

• BERT (2018): Der Pionier dieser Architektur, der auf zahlreichen NLP-Benchmarks neue Rekorde aufstellte.
• RoBERTa (2019): „Ein robust optimiertes BERT“. Zeigte, dass die Leistung von BERT durch längeres Training auf mehr Daten und den Verzicht auf die NSP-Aufgabe erheblich verbessert werden kann.
• ALBERT (2019): „A Lite BERT“. Ein Modell mit einer deutlich geringeren Anzahl von Parametern dank Techniken wie der Faktorisierung von Embeddings und der Parameter-Freigabe zwischen den Schichten.
• DistilBERT (2019): Eine kleinere Version von BERT, die durch Wissensdestillation erstellt wurde. Sie ist schneller und leichter, behält aber den größten Teil der Leistung des Originals bei.
• ELECTRA (2020): Führte eine effizientere Pre-Training-Aufgabe ein – die Replaced Token Detection, bei der das Modell lernt, zwischen originalen Tokens und „gefälschten“ Tokens zu unterscheiden, die von einem kleinen Generator-Modell erzeugt werden.
• DeBERTa (2020): Führte einen „disentangled attention“-Mechanismus ein, der Inhalt und relative Positionen der Tokens getrennt voneinander kodiert.

Siehe auch

• BERT