LLM-Architekturen

Architekturen großer Sprachmodelle (LLM) sind die grundlegenden Prinzipien und Strukturen, die definieren, wie große Sprachmodelle aufgebaut, trainiert und betrieben werden. Moderne LLMs, die in der Lage sind, menschliche Sprache zu verstehen und zu generieren, basieren fast ausschließlich auf der Transformer-Architektur, beinhalten jedoch zahlreiche Verbesserungen und unterschiedliche Ansätze, die auf die Steigerung von Effizienz, Skalierbarkeit und Leistungsfähigkeit abzielen.

Familien von LLM-Architekturen (Transformer)

Moderne große Sprachmodelle basieren auf der Transformer-Architektur, nutzen diese jedoch je nach Zielsetzung unterschiedlich: um Text zu verstehen, eine Fortsetzung zu generieren oder einen Text in einen anderen umzuwandeln. In der Praxis werden unter Beibehaltung der Grundprinzipien des Transformers drei Familien unterschieden.

1. Encoder-only (nur Encoder)

Das Modell verwendet ausschließlich den Encoder-Stack und betrachtet den gesamten Eingabetext bidirektional. Das Pre-Training basiert in der Regel auf Masked Language Modeling (MLM): Ein Teil der Tokens wird maskiert, und das Modell lernt, diese anhand des umgebenden Kontexts wiederherzustellen. Dank des bidirektionalen Kontexts sind solche Modelle stark in Aufgaben des Verstehens und der Bewertung (Scoring): Klassifikation, Erkennung von benannten Entitäten (NER), Reranking von Dokumenten und extraktive Frage-Antwort-Systeme (QA). Für die autoregressive Generierung von Grund auf sind sie nicht konzipiert.

Zusätzlich werden in der Praxis alternative Pre-Training-Ziele für die Encoder-only-Familie eingesetzt: Replaced Token Detection (RTD) in ELECTRA (ein Diskriminator-Modell erkennt ersetzte Tokens) und kontrastives Lernen von Bi-Encodern für die semantische Suche/Retrieval (InfoNCE/Softmax-Loss bei Paaren von „Anfrage-Dokument“, wie bei Dense Passage Retrieval). Bei der Verwendung in RAG-Systemen fungieren Encoder-only-Modelle entweder als Bi-Encoder (separate Kodierung von Anfrage und Dokument für eine schnelle ANN-Suche) oder als Cross-Encoder (gemeinsame Kodierung des Paares für ein präzises Reranking).

Vorteile:

• Hohe Qualität beim Textverständnis durch bidirektionalen Kontext: Klassifikation, NER, Faktenextraktion, Reranking, extraktives QA.
• Parallele Verarbeitung und hoher Durchsatz: ein einziger Forward-Pass ohne Autoregression; ideal für das Batch-Scoring großer Datenmengen.
• Natürliche Integration mit Suche und RAG: in der Rolle eines Bi-Encoders für schnelle semantische Suche; in der Rolle eines Cross-Encoders für präzises Reranking.
• Effiziente Anpassung: Relativ kompakte Varianten (≈100–300 Mio. Parameter; BERT-base ≈110 Mio.) liefern nach gezieltem Fine-Tuning eine hohe Qualität.
• Stabile Latenz, unabhängig von der Länge der generierten Antwort (keine schrittweise Dekodierung); gut geeignet für das Offline-Scoring großer Sammlungen.
• Möglichkeit zur Erweiterung des Kontextfensters bei Encodern durch relative/rotatorische Positionen und/oder lokal-verdünnte Attention (z. B. Longformer/BigBird), was für lange Dokumente nützlich ist.

Nachteile:

• Keine nativen generativen Fähigkeiten: Für Dialoge und ausführliche Antworten ist ein Decoder oder ein externes generatives Modul erforderlich.
• Eingeschränkte Eignung für interaktive Szenarien: keine schrittweise Generierung mit Zustandserhaltung.
• Nichtübereinstimmung des Pre-Training-Ziels mit Aufgaben der freien Generierung: MLM ist im Vergleich zum kausalen Modellieren weniger gut für die Generierung geeignet.
• Historisch begrenztes Kontextfenster (oft 512 Tokens in Basiskonfigurationen mit absoluten Positionen); die Erweiterung erfordert spezielle Positions-/Attention-Schemata und/oder zusätzliches Training.
• Für Retrieval-Aufgaben ist ein separates kontrastives Fine-Tuning des Bi-Encoders und/oder Cross-Encoders erforderlich; ohne dieses ist die Qualität der Suche/des Rerankings in der Regel geringer als bei speziell trainierten Modellen.

Repräsentative Modelle: BERT und Derivate sowie RoBERTa und DeBERTa (erweiterte Encoder-only-Varianten); aus alternativen Pre-Training-Zielen – ELECTRA (RTD).

2. Decoder-only (nur Decoder)

Es wird nur der Decoder-Stack mit kausaler (linksgerichteter) Attention verwendet: Das Modell sagt das nächste Token basierend auf dem bereits gegebenen Präfix voraus. Dieser Trainingsmodus – Causal Language Modeling (CLM) – macht diese Modelle zur natürlichen Wahl für die Generierung: Dialoge, ausführliche Antworten, kreative Texte, Programmcode. Der Kompromiss besteht in einer erhöhten Latenz und einem größeren KV-Cache bei langen Prompts. In der Praxis werden für Decoder-only-Modelle zahlreiche technische Optimierungen eingesetzt: Verkleinerung des KV-Cache durch MQA und GQA, Beschleunigung der Inferenz durch spekulative Dekodierung und serverseitige Optimierungen (PagedAttention/vLLM, Continuous Batching, Chunked Prefill).

Vorteile:

• Natürliche Textgenerierung (CLM): starke Zero-Shot- und Few-Shot-Fähigkeiten; gut skalierbar.
• Universelle Anwendbarkeit: Ein Modell löst viele Aufgaben durch Anweisungen und Beispiele im Prompt; lässt sich natürlich mit RAG und dem Aufruf von Werkzeugen (Tool Use) kombinieren.
• Ausgereiftes Ökosystem: Praktiken für Instruction-Tuning und Verhaltens-Alignment (RLHF, DPO); offene und kommerzielle Implementierungen verfügbar.
• Umfangreiche Inferenzoptimierungen: MQA/GQA reduzieren das Volumen des KV-Cache und erhöhen den Durchsatz; spekulative Dekodierung beschleunigt die Inferenz ohne Änderung der Ausgabeverteilung; PagedAttention/vLLM mit Continuous Batching und Chunked Prefill steigern die End-to-End-GPU-Auslastung.
• Unterstützung für strukturierte Generierung für strikte Ausgabeformate (JSON/SQL/DSL), was die Integration mit Informationssystemen und APIs vereinfacht.

Nachteile:

• Erhöhte Latenz bei der Generierung: sequenzielle Ausgabe; die Kosten für ein neues Token steigen mit der Länge des bereits „gelesenen“ Kontexts (KV-Cache).
• Weniger vorteilhaft bei Profilen mit „langer Eingabe – kurzer Ausgabe“ (Zusammenfassung, Übersetzung) im Vergleich zu Encoder-Decoder-Modellen, bei denen die Eingabe nur einmal kodiert wird.
• Beschränkung auf unidirektionalen Kontext: Bei Verstehensaufgaben manchmal Modellen mit bidirektionaler Repräsentation (Encoder-only / Encoder-Decoder) unterlegen.
• Der Speicher für den KV-Cache kann bei langen Prompts und großen Batches zum Engpass werden.
• Die Quantisierung von Aktivierungen/KV (INT8/FP8) beschleunigt die Inferenz, kann jedoch die Qualität bei langen Kontexten/Code beeinträchtigen und erfordert eine sorgfältige Validierung (insbesondere bei strengen SLAs).

Repräsentative Modelle: GPT-3, GPT-4 (Details zur Architektur und zum Datensatz wurden nicht öffentlich gemacht), LLaMA und Llama 3 (8B/70B, 2024).

3. Encoder-Decoder

Diese Architektur kombiniert beide Komponenten. Der Encoder arbeitet im bidirektionalen Modus, der Decoder kausal. Der Encoder analysiert die Eingabe einmal und erstellt ihre Repräsentation; der Decoder generiert die Ausgabe, indem er über Cross-Attention auf diese Repräsentation zugreift. Dieser getrennte Ansatz ist besonders nützlich, wenn ein langer Eingabetext in eine kurze Ausgabe umgewandelt werden soll: maschinelle Übersetzung, Zusammenfassung, dokumentenbasierte Antworten. Obwohl die Methode insgesamt höhere Rechenkosten erfordert (zwei Stacks und Cross-Attention), liegt ihr Vorteil in der kontrollierten Generierung auf Basis einer vollständigen Analyse des Quelltextes; dabei erfolgt die Kodierung einmalig und wird während des gesamten Inferenzprozesses wiederverwendet.

Vorteile:

• Bedingte Generierung: Der Decoder verwendet Cross-Attention auf die Repräsentation der Eingabe.
• Effizient im Szenario „lange Eingabe → kurze Ausgabe“: Die Eingabe wird nur einmal kodiert.
• Geeignet für das „Text-to-Text“-Format und kontrollierte Ausgabe (aufgabenbezogene Präfixe, spezielle Anweisungen).
• Stabilität und Effizienz bei langen Quellen: In der Dekodierungsphase wächst nur die Self-Attention über die Ausgabe, während die Cross-Attention die festen Keys/Values des Encoders wiederverwendet (die Eingabe wird nicht bei jedem Schritt neu „gelesen“).

Nachteile:

• Zwei Stacks erhöhen den Speicher- und Rechenbedarf beim Training und bei der Anwendung.
• Bei sehr langen Sequenzen ist die resultierende Latenz mit der von Decoder-only-Modellen vergleichbar; die Autoregression bleibt der Engpass.
• Weniger universelle Chat-Modelle als bei Decoder-only; werden häufiger als hochwertige Seq2Seq-Engine für spezifische Aufgaben eingesetzt.
• Bei sehr langer Eingabe steigt der Speicherbedarf für die Keys/Values der Cross-Attention in jeder Decoderschicht (über die gesamte Quelle), was eine sorgfältige Planung des Servings erfordert.

Repräsentative Modelle: T5 (einschließlich T5 v1.1 und der Praxis des Instruction-Tuning in FLAN-T5) und BART.

Dichte (Dense) Transformer

Die klassische und am weitesten verbreitete Architektur von LLMs: Bei der Verarbeitung jedes Tokens wird praktisch der gesamte Parametersatz des Modells genutzt. Im Gegensatz zu Sparse-Ansätzen (z. B. Mixture-of-Experts) gibt es keine selektive Aktivierung von Teilnetzen – jeder Block arbeitet für jedes Token.

Funktionsweise und Architektur

Grundstruktur. Das Modell ist ein Stack aus N identischen Transformer-Blöcken. Jeder Block enthält:

1. Multi-Head Self-Attention. Für jedes Token werden drei Vektoren berechnet: Q (Query), K (Key), V (Value); die Attention wird als $\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}+M}{\sqrt{d_k}}\right)\cdot V$ definiert, wobei $M$ eine Maske (kausale und/oder Padding-Maske) ist, die ungültige Positionen ausschließt. Mehrere „Attention-Heads“ berücksichtigen parallel verschiedene Aspekte des Kontexts (H Heads, normalerweise $d_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}=\frac{d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}{H}$); ihre Anzahl wächst mit der Skalierung des Modells.
2. Feed-Forward-Netzwerk (FFN). Zwei lineare Schichten mit einer Nichtlinearität dazwischen (typischerweise GELU/SiLU; in einigen modernen Modellen SwiGLU). Die Zwischendimension beträgt in der Regel $\approx 4d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$; bei Verwendung von SwiGLU wird oft $\approx \frac{8}{3}{d}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$ gewählt, um eine vergleichbare Anzahl von Parametern beizubehalten. Das FFN enthält einen erheblichen Teil der Parameter.

Zusätzliche Komponenten. Es werden Residualverbindungen und Layer-Normalisierung verwendet; in modernen LLMs wird häufiger Pre-LN (Normalisierung vor den Teilblöcken) eingesetzt, was die Trainingsstabilität bei großer Tiefe verbessert. Neben der klassischen LayerNorm wird zunehmend RMSNorm verwendet (reduziert den Rechenaufwand und funktioniert gut in großen Modellen); in einigen Familien wird auch eine Normalisierung im Attention-Raum angewendet (z. B. Normalisierung von Q/K vor dem Softmax). Positionsrepräsentationen können absolut oder relativ sein; für lange Kontexte ist RoPE zum De-facto-Standard geworden.

Beispiele für Modelle und deren Skalierung

• BERT-Large: 24 Schichten, Dimension 1024, 16 Attention-Heads, ≈340 Mio. Parameter.
• GPT-3 (175B): 96 Schichten, Dimension 12288, 96 Attention-Heads, ≈175 Mrd. Parameter.
• LLaMA-65B: 80 Schichten, Dimension 8192, 64 Attention-Heads, ≈65 Mrd. Parameter.
• PaLM-540B: 118 Schichten, Dimension ca. 18432, ≈540 Mrd. Parameter.

Vorteile

• Einheitliche Blöcke, gut erforschte Trainingsmodi und vorhersagbares Verhalten bei der Skalierung.
• Die Qualität verbessert sich exponentiell mit dem Wachstum von Parametern und Daten; der compute-optimale Modus sieht eine gemeinsame Erhöhung der Modellgröße und des Volumens der Trainings-Tokens vor.
• Dieselbe Architektur deckt nach dem Fine-Tuning ein breites Spektrum an Aufgaben ab, ohne dass Änderungen auf Schichtebene erforderlich sind.

Nachteile

• Die volle Self-Attention hat eine quadratische Komplexität in Bezug auf die Sequenzlänge ($O(n^2)$), was das Kontextfenster begrenzt.
• Vollständige Aktivierung der Parameter bei jedem Generierungsschritt: In einem Decoder ohne MoE steigen die Inferenzkosten pro Token ungefähr proportional zur Anzahl der Parameter.
• Der Engpass ist die Speicherbandbreite (memory-bound): Das Laden der Gewichte aus dem HBM begrenzt oft die Inferenzgeschwindigkeit.

Grenzen der Skalierung und des Kontexts

• Der Speicher für die Parameter wächst linear mit der Modellgröße; der Trainingsspeicher erhöht sich aufgrund von Gradienten und Zuständen des Optimierers.
• Basis-Konfigurationen waren historisch auf 2.000–4.000 Tokens beschränkt. Moderne Positionierungsschemata (RoPE) und Erweiterungstechniken (Position Interpolation, YaRN usw.) ermöglichen eine Vergrößerung des Fensters um eine Größenordnung und mehr, jedoch auf Kosten zusätzlicher Rechen-/Speicherlast.

Moderne Optimierungen

• FlashAttention. Eine exakte Attention, die die GPU-Speicherhierarchie berücksichtigt; reduziert den Speicherbedarf und beschleunigt das Training/die Inferenz bei langen Sequenzen.
• Reduzierung und Verwaltung des KV-Cache. Multi-Query Attention und Grouped-Query Attention verringern das Cache-Volumen und den Speicherverkehr; auf Serverebene erhöht PagedAttention (vLLM) den Durchsatz durch seitenbasiertes Cache-Management.
• Spekulative Dekodierung. Ein Entwurfsmodell (Draft Model) schlägt eine Fortsetzung vor, die das Hauptmodell schnell überprüft; dies führt zu einer Beschleunigung ohne Änderung der Ausgabeverteilung.

Sparse Models und Mixture-of-Experts (MoE)

MoE ist eine Methode, die Kapazität eines Modells zu erhöhen, ohne die Rechenkosten pro Token proportional zu steigern. Anstelle eines großen FFN-Blocks pro Schicht wird ein Satz paralleler „Experten“ (mehrere unabhängige FFNs) verwendet, und ein trainierbarer Router (Gating-Netzwerk) wählt für jedes Token die Top-k relevantesten Experten aus (typischerweise k=1–2; in einigen Modellen k=4). Nur die ausgewählten Experten werden aktiviert; ihre Ausgaben werden gewichtet und summiert. So kann die Gesamtzahl der Parameter Hunderte von Milliarden oder sogar Billionen betragen, während bei jedem Schritt nur ein kleiner Teil davon genutzt wird.

Beispiele für Modelle und deren Skalierung

• Switch Transformer (Google): bis zu ~1,6 Billionen Parameter; Top-1-Routing (ein Experte pro Token). Zeigte, dass MoE die Kapazität bei vergleichbaren Kosten pro Token drastisch erhöhen kann.
• GLaM (Google): 1,2 Billionen Parameter, 64 Experten pro Schicht, Top-2; pro Token werden ≈96,6 Mrd. Parameter (≈8 %) aktiviert.
• Mixtral 8×7B (Mistral AI): ~46,7 Mrd. Parameter insgesamt, ≈12,9 Mrd. aktiv pro Token, Top-2.
• Mixtral 8×22B: ~141 Mrd. Parameter insgesamt, ≈39 Mrd. aktiv pro Token, Top-2.
• DBRX (Databricks): 132 Mrd. Parameter insgesamt, ≈36 Mrd. aktiv pro Token; 16 Experten und Top-4-Routing (Fine-grained MoE).

Vorteile

• Die Rechenkosten werden durch die Anzahl der aktiven Experten k bestimmt, nicht durch die Gesamtzahl der Parameter: Modelle im Billionen-Maßstab können trainiert und eingesetzt werden, bei Kosten, die mit deutlich kleineren dichten Modellen vergleichbar sind.
• Spezialisierung: Experten passen sich automatisch an Sprachen/Domänen/Muster an, was die Qualität bei multimodalen Aufgaben verbessert.
• Flexibler Einsatz: Häufig genutzte Experten können im Speicher gehalten und seltene nachgeladen werden (bei entsprechender Infrastruktur).

Einschränkungen

• Lastenverteilung: Ohne Regularisierung kann der Router bei einigen Experten „hängen bleiben“ (Router Collapse). Es sind Auxiliary Losses (Load-Balancing) und verbesserte Routing-Schemata erforderlich.
• Komplexität verteilter Berechnungen: Erfordert Expert Parallelism und All-to-All-Kommunikation; Kommunikations-Overhead und Speicherverwaltung werden zum Engpass.
• Trainingsstabilität: Die Einstellungen des Routers und die Kapazitätsbeschränkungen sind entscheidend, sonst kann es zu Qualitäts-/Konvergenzproblemen kommen.

Moderne Verbesserungen

• Expert-Choice Routing: Experten „wählen“ Tokens aus, was die Lastenverteilung und Konvergenz bei vergleichbaren Kosten verbessert.
• Fine-grained MoE: Eine größere Anzahl kleinerer Experten (wie bei DBRX) ermöglicht eine feinere Granularität der Spezialisierung.
• Sparse Upcycling: Die Umwandlung eines dichten Modells in ein MoE-Modell aus seinem Checkpoint kann die Qualität bei moderaten Kosten erheblich steigern.

Anwendungsfälle für MoE

• Große, multimodale Assistenten bei begrenztem Rechenbudget.
• Training auf umfangreichen Korpora, bei denen Spezialisierung von Vorteil ist.
• Szenarien mit ausgereifter verteilter Infrastruktur (viele GPUs/TPUs und schnelle Netzwerke).

Wann Dense Models besser geeignet sind: begrenzte Infrastruktur (1–2 GPUs), strenge Anforderungen an vorhersagbare Latenz und einfache Bereitstellung.

Retrieval-Augmented Generation (RAG)

RAG ist ein architektonisches System-Pattern um ein LLM herum, keine interne Architektur des Modells selbst. Es kombiniert ein LLM (die generative Komponente) mit einer externen Wissensdatenbank (die Retrieval-Komponente), um die Begrenzungen des „parametrischen Gedächtnisses“ des Modells auszugleichen.

• Funktionsweise: Vor der Generierung ruft das LLM relevante Dokumente aus einer externen Quelle (Wiki, unternehmensinterne Wissensdatenbank, Web) ab und stützt sich bei der Formulierung der Antwort auf diese.
• Vorteile:
  • Reduzierung von Halluzinationen und Verbesserung der faktischen Genauigkeit.
  • Aktualität ohne vollständiges Neutraining des Modells.
  • Zitierbarkeit und Nachverfolgbarkeit der Antworten.
• Anwendung: De-facto-Standard für Unternehmensassistenten und Systeme, die überprüfbare Fakten und die Arbeit mit privaten/hochspezialisierten Daten erfordern.

Attention-Mechanismen und Kontextverarbeitung

Die grundlegende Self-Attention hat eine quadratische Komplexität in Bezug auf die Sequenzlänge ($O(n^2)$), weshalb Optimierungen entwickelt wurden.

• Sparse Attention: Beschränkung der Attention auf lokale Fenster/Muster. Beispiele: Longformer, BigBird.
• FlashAttention: Neuanordnung der Berechnungen unter Berücksichtigung der GPU-Speicherhierarchie; führt zu erheblichen Zeit- und Speichereinsparungen und ist zum De-facto-Standard beim Training von LLMs mit langem Kontext geworden.
• MQA/GQA (Beschleunigung der Dekodierung): Multi-Query Attention (gemeinsame Keys/Values für alle Heads) reduziert den KV-Cache-Verkehr. Grouped-Query Attention schafft einen Ausgleich zwischen Qualität und Geschwindigkeit.
• Verbesserte Positionsrepräsentationen:
  • ALiBi (Attention with Linear Biases): Lineare Biases zu den Attention-Scores verbessern die Generalisierung auf längere Sequenzen.
  • RoPE (Rotary Position Embeddings): Relative Positionsinformation durch Rotation von Q/K; weit verbreitet in modernen Modellen (z. B. LLaMA).
  • Kontexterweiterung für RoPE-Modelle: Position Interpolation , YaRN sowie NTK-aware-Modifikationen ermöglichen eine effiziente Erweiterung des Kontextfensters ohne Architekturänderungen.

• Weitere Ansätze für lange Sequenzen:
  • Transformer-XL: Rekurrenter Speicher zwischen Segmenten zur Modellierung weitreichender Abhängigkeiten.
  • Reformer: LSH-Attention und reversible Residual-Blöcke zur Speichereinsparung.
  • Performer: Lineare Approximation der Softmax-Attention (FAVOR+).
  • Linformer: Niedrigrang-Approximation der Attention-Matrix.

Modelloptimierungen und Trainingsinfrastruktur

Für das Training und die Bereitstellung von LLMs werden spezialisierte Techniken und Frameworks verwendet.

• Quantisierung (Quantization): Die Verringerung der Bit-Tiefe der Gewichte reduziert den Speicherbedarf und beschleunigt die Inferenz. QLoRA ermöglicht das effiziente Fine-Tuning von 4-Bit-Modellen (einschließlich 65B) bei einer Qualität, die nahe an der vollen Genauigkeit liegt.
• Wissensdestillation (Knowledge Distillation): Teacher→Student-Training für kompakte Modelle; ein Beispiel ist DistilBERT.
• Verteiltes Training:
  • DeepSpeed und ZeRO – Verteilung von Parametern/Gradienten/Optimiererzuständen für das Training von Modellen im Billionen-Maßstab.
  • Megatron-LM – Tensor- und Pipeline-Parallelismus für sehr große Transformer.
• Ökosystem und Werkzeuge: Hugging Face Transformers und Accelerate bieten Standardimplementierungen von Modellen und die Integration mit DeepSpeed/FSDP für Training und Inferenz.

Skalierungsgesetze und compute-optimales Training

Empirische Skalierungsgesetze zeigen, dass der Kreuzentropie-Fehler mit dem Wachstum von Parametern, Daten und Rechenleistung exponentiell abnimmt. Die Arbeit zu Chinchilla präzisierte die Modi des compute-optimalen Trainings: Für optimale Effizienz sollten die Modellgröße und die Anzahl der Trainings-Tokens gemeinsam skaliert werden (ein Beispiel ist ein 70B-Modell, das auf ~1,4 Billionen Tokens trainiert wurde und größere, untertrainierte Modelle übertrifft).

State Space Models (SSM)

State Space Models (SSM) sind eine alternative Architektur zu Transformern für die Verarbeitung langer Sequenzen. Sie entlehnen Ideen aus der Regelungstheorie und der digitalen Signalverarbeitung und lösen das Hauptproblem der Self-Attention: den quadratischen Anstieg des Rechenaufwands mit zunehmender Textlänge.

Das Kernproblem und die Lösung

Das Problem der Transformer. Das Hauptproblem traditioneller Transformer ist die quadratische Komplexität der Attention: Ein zehnmal längerer Text erfordert etwa 100-mal mehr Berechnungen.

Der SSM-Ansatz. Statt „gleichzeitiger Aufmerksamkeit auf alle Wörter“ verarbeitet das Modell den Text sequenziell und unterhält einen kompakten internen Gedächtniszustand, der bei jedem Schritt aktualisiert wird. Dadurch wachsen Zeit- und Speicherverbrauch ungefähr linear mit der Textlänge. Gleichzeitig kann das Training parallel durchgeführt werden – durch eine Faltungsdarstellung des Kernels (hoher Durchsatz bei langen Sequenzen).

Funktionsweise

Ein diskretes SSM wird durch Zustands- und Ausgangsgleichungen beschrieben:

$x_t=A{x}_{t-1}+B{u}_t,y_t=C{x}_t+D{u}_t$

wobei $x_t$ der Gedächtniszustand, $u_t$ die Eingabe (Token) und $y_t$ die Ausgabe ist. In tiefen SSMs werden die Matrizen $A,B,C,D$ so parametrisiert, dass Stabilität und effiziente Berechnungen bei langen Sequenzen gewährleistet sind. Derselbe Layer kann betrachtet werden als:

• rekurrent (schrittweises Scannen) – speichereffiziente Inferenz ohne KV-Cache;
• faltend (konvolutionell) – paralleles Training mit einem vorberechneten Kernel.

Grundlegende Architekturen und Hybride

• S4 (Structured State Spaces). Die grundlegende SSM-Linie mit einer stabilen Parametrisierung der Zustandsmatrix; zeigt Effizienz bei sehr langen Sequenzen.
• Mamba. Selektive SSMs: Die Aktualisierungsregeln für das Gedächtnis hängen von der aktuellen Eingabe ab (das Modell entscheidet selbst, was im „Gedächtnis behalten“ und was „vergessen“ werden soll). Die Implementierung ist auf die GPU-Speicherhierarchie ausgerichtet; laut den Autoren wird eine mehrfache Steigerung des Inferenzdurchsatzes bei linearer Komplexität in Bezug auf die Länge erreicht.
• RetNet. Ein Retention-Mechanismus mit drei Modi: paralleles Training, rekurrentes und block-rekurrentes Inferencing. Das Ziel ist, schnelles Training (wie bei Transformern) mit sparsamer Inferenz (O(1) Speicher pro Token) zu kombinieren.
• Hybride Attention+SSM. Ein Beispiel ist Jamba (abwechselnde Schichten von Transformer und Mamba plus MoE): Berichtet über die Unterstützung von Kontexten von ca. ~256K Tokens bei deutlich geringerem Speicherbedarf im Vergleich zu reinen Transformer-Modellen ähnlicher Klasse.

Vorteile

• Lineare Komplexität und Speichereinsparung bei der Inferenz. Keine globale Self-Attention und kein KV-Cache; es wird nur ein kompakter Zustand gespeichert.
• Paralleles Training auf langen Sequenzen. Der Faltungsmodus erhöht den Trainingsdurchsatz.
• Hardware-Effizienz. Implementierungen sind auf moderne Speicherhierarchien (HBM/SRAM) ausgerichtet.
• Lange Kontexte und Streaming. Hybride aus SSM+Attention sind für Hunderttausende von Tokens bei moderaten Ressourcen praktisch.

Einschränkungen und aktuelle Praxis

• Reifegrad des Ökosystems. Werkzeuge und „Rezepte“ zur Skalierung (Instructions, RLHF/DPO) sind noch nicht so ausgereift wie im Transformer-Stack.
• Qualität und Stabilität. Bei einigen Aufgaben zeigen Hybride (Attention+SSM) einen stabileren Kompromiss zwischen Qualität, Geschwindigkeit und Speicher als „reine“ SSMs.

Vergleich der Ansätze (verallgemeinert)

Merkmal	Transformer	SSM	Hybride (Attention+SSM)
Komplexität bzgl. Länge	Quadratisch (Self-Attention)	Linear (Scan/Faltung)	Nahezu linear
Speicher pro Token (Inferenz)	KV-Cache wächst mit Kontext	O(1) Zustand	Moderates Wachstum
Lange Kontexte	Erfordert spezielle Optimierungen	Native Unterstützung	Praktikabel bis ~256 K
Reifegrad des Ökosystems	Hoch	In Entwicklung	In Entwicklung

Praktische Anwendungen

• Analyse sehr langer Dokumente (Bücher, Berichte, wissenschaftliche Übersichten).
• Streaming-Verarbeitung und Chat-Szenarien mit langer Historie ohne steigende Speicherkosten.
• Umgebungen mit begrenzten Ressourcen (mobile/edge-Geräte).
• Zeitreihen und andere sequentielle Daten.

Repräsentative Modelle: S4, Mamba, RetNet; Hybride Attention+SSM (Jamba).

Evolution der Architekturen

• 2017 – Veröffentlichung des Papers „Attention Is All You Need“. Die Transformer-Architektur wird vorgestellt: Multi-Head Self-Attention und Positionskodierungen ermöglichen das Training von Modellen ohne Rekurrenz und Faltungen; gleichzeitig hat die Attention eine quadratische Komplexität in Bezug auf die Kontextlänge.

• 2018 – GPT-1 und BERT werden vorgestellt. GPT-1 verwendet einen reinen Decoder-Stack mit kausaler Attention für die Generierung und anschließendes Fine-Tuning; BERT führt einen bidirektionalen Encoder und das MLM-Pre-Training für Aufgaben des Textverständnisses ein.

• 2019 – Methoden zur Verarbeitung langer Sequenzen werden vorgeschlagen und Decoder-only-Modelle skaliert. Transformer-XL fügt einen „Speicher“ und relative Positionen hinzu, um über ein festes Fenster hinauszugehen; GPT-2 zeigt eine Zunahme der Zero-Shot-Fähigkeiten bei zunehmender Skalierung; BART demonstriert die Effektivität des Denoising-Pre-Trainings für Seq2Seq.

• 2020 – Das „Text-to-Text“-Format wird vereinheitlicht und Methoden für lange Dokumente werden gezeigt. T5 formuliert einen einheitlichen Encoder-Decoder-Ansatz für verschiedene Aufgaben; Longformer und BigBird verwenden Sparse/strukturierte Attention für lange Texte; GPT-3 bestätigt die Effektivität der Skalierung von dichten Decoder-only-Modellen.

• 2021 – Positionsrepräsentationen werden verbessert und die Parameter-Sparsamkeit (MoE) wird demonstriert. RoPE und ALiBi verbessern die Generalisierung bei großen Längen; Switch Transformer und GLaM aktivieren nur einen Teil der Experten pro Token und erhöhen so die Kapazität ohne exponentiellen Anstieg der Inferenzkosten.

• 2022 – Der compute-optimale Modus wird präzisiert und die Inferenz bei langen Prompts beschleunigt. Chinchilla zeigt den Vorteil einer größeren Anzahl von Trainings-Tokens bei moderater Modellgröße; PaLM mit Multi-Query Attention reduziert das Volumen des KV-Cache; FlashAttention beschleunigt die Attention auf GPUs.

• 2023 – Kontextfenster werden ohne Layer-Änderungen vergrößert und das serverseitige Serving verbessert. Die LLaMA-Reihe etabliert Praktiken (RMSNorm, SwiGLU, RoPE); Position Interpolation und YaRN erweitern den Kontext; vLLM/PagedAttention verwaltet den KV-Cache effizienter.

• 2023 – GPT-4 und Gemini demonstrieren die Verarbeitung und Generierung in mehreren Modalitäten innerhalb einer Modellfamilie.

• 2023 – Modelle mit Zustandsraum (SSM) werden vorgeschlagen. Mamba und RetNet führen die sequentielle Verarbeitung mit einem kompakten Zustand anstelle eines KV-Cache wieder ein und legen den Grundstein für hybride Architekturen.

• 2024 – Offene MoE-Modelle und Attention+SSM-Hybride werden veröffentlicht; die Attention auf neuen GPUs wird beschleunigt. Mixtral 8×7B/8×22B und DBRX bestätigen die Praktikabilität von MoE; Jamba kombiniert Transformer und Mamba für sehr lange Kontexte; FlashAttention-3 erhöht den Durchsatz.

Weblinks

• https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer – eine visuelle Erklärung

Literatur

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT. NAACL. https://arxiv.org/abs/1810.04805
• Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS. https://arxiv.org/abs/2005.14165
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Lewis, M. et al. (2019). BART: Denoising Sequence-to-Sequence Pre-training. https://arxiv.org/abs/1910.13461
• Touvron, H. et al. (2023). LLaMA. https://arxiv.org/abs/2302.13971
• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. https://arxiv.org/abs/2204.02311
• Dao, T. et al. (2022–2024). FlashAttention (1/2/3). https://arxiv.org/abs/2205.14135 ; https://arxiv.org/abs/2307.08691 ; https://arxiv.org/abs/2407.08608
• Shazeer, N. (2019). MQA. https://arxiv.org/abs/1911.02150
• Ainslie, J. et al. (2023). GQA. https://arxiv.org/abs/2305.13245
• Kwon, W. et al. (2023). PagedAttention / vLLM. https://arxiv.org/abs/2309.06180
• Leviathan, Y. et al. (2023). Speculative Decoding. https://arxiv.org/abs/2211.17192
• Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). Switch Transformers. https://arxiv.org/abs/2101.03961
• Du, N. et al. (2022). GLaM. https://proceedings.mlr.press/v162/du22c/du22c.pdf
• Jiang, A.Q. et al. (2024). Mixtral of Experts. https://arxiv.org/abs/2401.04088
• Databricks (2024). Introducing DBRX. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
• NVIDIA (2024). Applying Mixture of Experts in LLM Architectures. https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/
• Zhou, Y. et al. (2022). Expert Choice Routing. https://arxiv.org/abs/2202.09368
• Komatsuzaki, A. et al. (2022). Sparse Upcycling. https://arxiv.org/abs/2212.05055
• Lewis, P. et al. (2020). RAG. https://arxiv.org/abs/2005.11401
• Beltagy, I. et al. (2020). Longformer. https://arxiv.org/abs/2004.05150
• Zaheer, M. et al. (2020). BigBird. https://arxiv.org/abs/2007.14062
• Press, O. et al. (2022). ALiBi. https://arxiv.org/abs/2108.12409
• Su, J. et al. (2021). RoFormer (RoPE). https://arxiv.org/abs/2104.09864
• Chen, S. et al. (2023). Position Interpolation. https://arxiv.org/abs/2306.15595
• Peng, B. et al. (2023). YaRN. https://arxiv.org/abs/2309.00071
• Dettmers, T. et al. (2023). QLoRA. https://arxiv.org/abs/2305.14314
• Rajbhandari, S. et al. (2020). ZeRO. https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/
• Shoeybi, M. et al. (2019). Megatron-LM. https://arxiv.org/abs/1909.08053
• Kaplan, J. et al. (2020). Scaling Laws. https://arxiv.org/abs/2001.08361
• Hoffmann, J. et al. (2022). Chinchilla / Compute-Optimal. https://arxiv.org/abs/2203.15556
• Gemini Team (2023). Gemini. https://arxiv.org/abs/2312.11805
• Bai, Y. et al. (2022). Constitutional AI. https://arxiv.org/abs/2212.08073
• OpenAI (2023). GPT-4 Technical Report. https://arxiv.org/abs/2303.08774
• OpenAI (2023). DevDay: GPT-4 Turbo 128k. https://openai.com/index/new-models-and-developer-products-announced-at-devday/
• Zhang, B.; Sennrich, R. (2019). RMSNorm. https://arxiv.org/abs/1910.07467
• Shazeer, N. (2020). GLU Variants / SwiGLU. https://arxiv.org/abs/2002.05202
• Gu, A.; Goel, K.; Ré, C. (2021). S4: Structured State Spaces. https://arxiv.org/abs/2111.00396
• Gu, A.; Dao, T. (2023/2024). Mamba: Selective State Spaces. https://arxiv.org/abs/2312.00752
• Sun, Y. et al. (2023). RetNet. https://arxiv.org/abs/2307.08621
• Lieber, O. et al. (2024). Jamba: Hybrid Transformer-Mamba. https://arxiv.org/abs/2403.19887
• Dai, Z. et al. (2019). Transformer-XL. https://arxiv.org/abs/1901.02860
• Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). Reformer. https://arxiv.org/abs/2001.04451
• Choromanski, K. et al. (2021). Performer. https://arxiv.org/abs/2009.14794
• Wang, S. et al. (2020). Linformer. https://arxiv.org/abs/2006.04768