--- title: "FlashAttention-3 (DE)" source: "https://systems-analysis.info/int/FlashAttention-3_(DE)" wiki: "systems-analysis.info/int" article: "FlashAttention-3_(DE)" language: "de" categories: - "Category:German" - "Category:Large language models" - "Category:Machine learning" revision_id: 2223 wiki_created_at: 2026-09-06T23:00:34Z wiki_modified_at: 2026-09-06T23:00:34Z downloaded_at: 2026-09-07T22:49:55Z --- # FlashAttention-3 (DE) **FlashAttention-3** ist ein Algorithmus zur Optimierung des Aufmerksamkeitsmechanismus (Attention) in Transformer-Netzwerken, der entwickelt wurde, um die Hardwarefähigkeiten der GPU-Architektur **NVIDIA Hopper** (H100) maximal auszunutzen^{[\[1\]](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_note-venturebeat_unleashes-1)}. Der Algorithmus wurde 2024 von einer Gruppe von Forschern der Unternehmen Colfax Research, Meta, NVIDIA, Georgia Tech, der Princeton University und Together AI vorgestellt. Die Arbeit wurde für die Konferenz NeurIPS 2024 angenommen und als *spotlight* ausgezeichnet^{[\[2\]](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_note-openreview_fa3-2)}. FlashAttention-3 ist die dritte Iteration in einer Familie von Algorithmen und folgt auf **FlashAttention** (2022) und **FlashAttention-2** (2023). Sein Hauptziel ist es, das Training und die Inferenz von großen Sprachmodellen (LLMs) signifikant zu beschleunigen und dabei die Rechengenauigkeit beizubehalten. ## Einleitung und Hintergrund ### Das Problem des Aufmerksamkeitsmechanismus Die Schlüsselkomponente von Transformern ist der Self-Attention-Mechanismus, dessen Rechenkomplexität und Speicherverbrauch jedoch mit der Länge der Eingabesequenz (n) **quadratisch** (O(n²)) ansteigen^{[\[1\]](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_note-venturebeat_unleashes-1)}. Dies stellt einen ernsthaften Engpass dar, da moderne GPUs für schnelle Matrixmultiplikationen optimiert sind, die Berechnung exponentieller Funktionen (z. B. in Softmax) jedoch um Größenordnungen langsamer ist. Darüber hinaus muss bei einer naiven Implementierung ein großer zwischenzeitlicher Attention-Tensor im GPU-Speicher gehalten werden, was die Skalierbarkeit der Modelle einschränkt. ### FlashAttention und FlashAttention-2 Um dieses Problem zu lösen, wurde 2022 **FlashAttention** vorgestellt, das die Anzahl der Zugriffe auf den langsamen globalen Speicher (HBM) durch zwei Techniken reduzierte: - **Blockweise Verarbeitung (Tiling)**: Die Berechnungen werden in Blöcke (Tiles) aufgeteilt, die im schnellen On-Chip-Speicher (SRAM) verarbeitet werden. - **Verschmelzung von Operationen (Kernel Fusion)**: Alle Operationen (Matrixmultiplikation, Softmax) werden in einem einzigen GPU-Kernel ausgeführt, ohne Zwischenergebnisse in den globalen Speicher zu schreiben. Dies ermöglichte es, die Speicherkomplexität von quadratisch auf **linear** zu reduzieren und die Berechnungen um das 2- bis 4-fache zu beschleunigen. Im Jahr 2023 wurde eine verbesserte Version vorgestellt – **FlashAttention-2**, die die Parallelisierung der Berechnungen optimierte. Auf GPUs der **NVIDIA Ampere**-Architektur (A100) erreichte sie **~70 %** der theoretischen Spitzenleistung^{[\[3\]](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_note-arxiv_html_fa3-3)}. Auf der neueren **NVIDIA Hopper**-Architektur (H100) war ihre Effizienz jedoch deutlich geringer – etwa **35 %**^{[\[1\]](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_note-venturebeat_unleashes-1)}. Dies lag daran, dass der Algorithmus die neuen Hardwarefähigkeiten von Hopper nicht nutzte, was den Anstoß zur Entwicklung von FlashAttention-3 gab. ## Neue Hardwarefähigkeiten der Hopper-GPU (H100) Die NVIDIA-Hopper-Architektur bietet eine Reihe neuer Funktionen, die FlashAttention-3 nutzt, um maximale Leistung zu erzielen^{[\[4\]](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_note-togetherai_blog-4)}: - **WGMMA (Warpgroup Matrix Multiply-Accumulate)**: Ein neuer Befehlstyp für Tensor Cores, der Matrixmultiplikationen mit einer fast zweifachen Leistungssteigerung im Vergleich zur Ampere-Architektur durchführt. - **TMA (Tensor Memory Accelerator)**: Ein Hardwaremodul, das die Datenübertragung zwischen dem globalen (HBM) und dem gemeinsamen (Shared Memory) Speicher beschleunigt. TMA führt Adressberechnungen automatisch durch und entlastet so die Rechenkerne. - **FP8-Format**: Hardwareseitige Unterstützung für das 8-Bit-Gleitkomma-Datenformat, das die theoretische Leistung im Vergleich zu FP16 verdoppelt, aber das Risiko eines Genauigkeitsverlusts aufgrund des begrenzten Dynamikbereichs birgt. ## Technische Innovationen von FlashAttention-3 Der Algorithmus implementiert drei zentrale Optimierungsmethoden, die speziell für die Hopper-Architektur entwickelt wurden^{[\[4\]](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_note-togetherai_blog-4)}: ### 1. Asynchrone Ausführung und Warp-Spezialisierung FlashAttention-3 nutzt das Prinzip der *Warp-Spezialisierung*, bei dem sich verschiedene Gruppen von Threads (*Warps*) auf der GPU auf unterschiedliche Aufgaben spezialisieren: - **Producer-Warps**: Laden Daten mithilfe von TMA aus dem globalen Speicher. - **Consumer-Warps**: Führen Matrixmultiplikationen auf den Tensor Cores aus. Dank der hardwareseitigen Asynchronität von Hopper **überlappen sich diese Operationen zeitlich**. Während eine Gruppe von Warps Berechnungen durchführt, lädt eine andere parallel die Daten für den nächsten Block. Dieser Pipeline-Ansatz, organisiert nach dem Prinzip des „Ping-Pong-Schedulings“, ermöglicht es, Latenzen von langsamen Operationen (z. B. Softmax) zu verbergen und alle funktionalen Module der GPU maximal auszulasten. ### 2. Minimierung von Speicheroperationen Der Algorithmus behält die Tiling-Ideologie aus früheren Versionen bei, nutzt aber aktiv **TMA**, um die nächsten Datenblöcke **parallel** zu den laufenden Berechnungen asynchron zu laden. Die Datenübertragung vom langsamen HBM in den schnellen SRAM erfolgt praktisch „im Schatten“ der Hauptberechnungen, wodurch die GPU weniger Zeit mit dem Warten auf Daten verbringt. ### 3. Niedrige Präzision (FP8) mit reduziertem Quantisierungsfehler Der Wechsel zu FP8 verdoppelt die Geschwindigkeit, kann aber aufgrund der Quantisierung zu einem erheblichen Genauigkeitsverlust führen. Um dem entgegenzuwirken, implementierten die Entwickler die Methode des *incoherent processing*^{[\[4\]](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_note-togetherai_blog-4)}. Ihre Funktionsweise ist wie folgt: 1. Vor der Attention-Berechnung werden die Merkmalsvektoren (Queries Q und Keys K) mit einer **zufälligen orthogonalen Matrix** (z. B. einer Hadamard-Matrix) multipliziert. 2. Diese Transformation „verschmiert“ Werte mit anomal großen Beträgen (Ausreißer) über alle Koordinaten und gleicht ihre Verteilung aus. 3. Anschließend erfolgt die Quantisierung in FP8, die nun mit einem geringeren Fehler behaftet ist. 4. Da die Transformation orthogonal ist, verzerrt sie das Endergebnis der Attention (QKᵀ) nicht, da sich der Effekt der Matrix bei der Multiplikation aufhebt. Diese Technik ermöglichte es, den Fehler bei der Attention-Berechnung in FP8 im Vergleich zur Standardanwendung von FP8 ohne Transformationen um etwa das **2,6-fache** zu reduzieren^{[\[4\]](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_note-togetherai_blog-4)}. ## Leistung und Bedeutung Durch die Anwendung der genannten Techniken konnte FlashAttention-3 auf der H100-GPU eine erhebliche Überlegenheit gegenüber früheren Versionen erzielen: - **1,5- bis 2-fache Beschleunigung** im Vergleich zu FlashAttention-2. - **Hohe GPU-Auslastung**: Erreicht **~75–85 %** des theoretischen Leistungsmaximums der H100. - **Durchsatz**: - Bis zu **740–840 TFLOPS** bei halber Genauigkeit (FP16/BF16). - Bis zu **1,2–1,3 PFLOPS** (Petaflops) bei Verwendung von 8-Bit-Genauigkeit (FP8)^{[\[2\]](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_note-openreview_fa3-2)}. Die hohe Effizienz von FlashAttention-3 wirkt sich direkt auf die Entwicklung und Anwendung von LLMs aus: - **Reduzierte Trainingszeit**: Eine Beschleunigung der Attention um 75–100 % verkürzt die Trainingszeit von Modellen, die Wochen oder Monate dauern kann, erheblich. - **Vergrößerung des Kontextfensters**: Modelle können längere Sequenzen (Hunderttausende von Token) effizient verarbeiten, was für die Analyse großer Dokumente oder Codes wichtig ist^{[\[1\]](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_note-venturebeat_unleashes-1)}. - **Effiziente Ressourcennutzung**: Ermöglicht es, die gleiche Leistung mit weniger GPUs zu erzielen oder eine höhere Geschwindigkeit auf derselben Hardware zu erreichen, was die Kosten für den Einsatz von Modellen senkt. ## Verfügbarkeit und Integration Die Autoren haben den Quellcode von FlashAttention-3 unter einer Open-Source-Lizenz auf GitHub veröffentlicht^{[\[4\]](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_note-togetherai_blog-4)}. Es wird erwartet, dass er in führende Deep-Learning-Frameworks wie PyTorch und die Hugging Face Transformers-Bibliotheken integriert wird, wodurch die Technologie einem breiten Kreis von Entwicklern und Forschern zugänglich gemacht wird. Frühere Versionen sind bereits zum De-facto-Standard in der Branche geworden, und FlashAttention-3 wird diesen Trend wahrscheinlich fortsetzen. ## Weblinks - Offizielles FlashAttention-Repository auf GitHub - Blogbeitrag von Together AI zur Ankündigung von FlashAttention-3 ## Literatur - Shah, J. et al. (2024). *FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision*. arXiv:2407.08608. - Dao, T. (2023). *FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning*. arXiv:2307.08691. - Dao, T. et al. (2022). *FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness*. arXiv:2205.14135. - Kwon, W. et al. (2023). *Efficient Memory Management for Large Language Model Serving with PagedAttention*. arXiv:2309.06180. - Ye, Z. et al. (2025). *FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving*. arXiv:2501.01005. - Chen, Y. et al. (2023). *FlashDecoding++: Faster Large Language Model Inference on GPUs*. arXiv:2311.01282. - Liu, Y. et al. (2024). *FastAttention: Extending FlashAttention-2 to NPUs and Low-Resource GPUs*. OpenReview: 76NYyOrnfk. - Dege, P. et al. (2025). *FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs*. arXiv:2506.01969. - Wang, G. et al. (2024). *FlashMask: Efficient and Rich Mask Extension of FlashAttention*. arXiv:2410.01359. - Abbott, V.; Zardini, G. (2025). *FlashAttention on a Napkin: A Diagrammatic Approach to Deep Learning IO-Awareness*. arXiv:2412.03317. ## Einzelnachweise 1. ↑ ^{[1.0](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_ref-venturebeat_unleashes_1-0)} ^{[1.1](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_ref-venturebeat_unleashes_1-1)} ^{[1.2](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_ref-venturebeat_unleashes_1-2)} ^{[1.3](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_ref-venturebeat_unleashes_1-3)} „FlashAttention-3 unleashes the power of H100 GPUs for LLMs“. *VentureBeat*. [1] 2. ↑ ^{[2.0](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_ref-openreview_fa3_2-0)} ^{[2.1](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_ref-openreview_fa3_2-1)} Shah, Jay, et al. „FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision“. *OpenReview*. [2] 3. [↑](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_ref-arxiv_html_fa3_3-0) Shah, Jay, et al. „FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision“. *arXiv:2407.08608v2* \[cs.LG\], 15. Juli 2024. [3] 4. ↑ ^{[4.0](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_ref-togetherai_blog_4-0)} ^{[4.1](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_ref-togetherai_blog_4-1)} ^{[4.2](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_ref-togetherai_blog_4-2)} ^{[4.3](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_ref-togetherai_blog_4-3)} ^{[4.4](https://systems-analysis.info/int/FlashAttention-3_(DE)#cite_ref-togetherai_blog_4-4)} Shah, Jay, et al. „FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision“. *Together AI Blog*. [4]