FlashAttention-3 (NL)

FlashAttention-3 — dit is een algoritme voor de optimalisatie van het aandachtsmechanisme (attention) in transformer-neurale netwerken, ontwikkeld om de hardwaremogelijkheden van GPU-architectuur NVIDIA Hopper (H100) maximaal te benutten. Het algoritme werd in 2024 gepresenteerd door een groep onderzoekers van de bedrijven Colfax Research, Meta, NVIDIA, Georgia Tech, Princeton University en Together AI. Het werk werd geaccepteerd op de conferentie NeurIPS 2024 en onderscheiden als spotlight.

FlashAttention-3 is de derde iteratie in de algoritmefamilie, als opvolger van FlashAttention (2022) en FlashAttention-2 (2023). Het belangrijkste doel is het aanzienlijk versnellen van de training en inferentie van grote taalmodellen (LLM), met behoud van rekennauwkeurigheid.

Inleiding en achtergrond

Het probleem van het aandachtsmechanisme

Een sleutelcomponent van transformers is het self-attention-mechanisme, maar de rekenkundige complexiteit en het geheugenverbruik groeien kwadratisch (O(n²)) met de toenemende lengte van de invoerreeks (n). Dit vormt een ernstig knelpunt, omdat moderne GPU's geoptimaliseerd zijn voor snelle matrixvermenigvuldigingen, maar de berekening van exponentiële functies (bijvoorbeeld in Softmax) orde van grootte langzamer verloopt. Bovendien moet bij een naïeve implementatie een grote tussenliggende attentietensor in het GPU-geheugen worden opgeslagen, wat de schaalbaarheid van modellen beperkt.

FlashAttention en FlashAttention-2

Om dit probleem op te lossen werd in 2022 FlashAttention voorgesteld, dat het aantal toegangen tot het langzame globale geheugen (HBM) verminderde door middel van twee technieken:

• Blokverwerkig (tiling): Berekeningen worden opgesplitst in blokken (tiles) die verwerkt worden in het snelle on-chip geheugen (SRAM).
• Operatiefusie: Alle bewerkingen (matrixvermenigvuldiging, Softmax) worden uitgevoerd in één GPU-kernel zonder tussenliggende resultaten naar het globale geheugen te schrijven.

Dit maakte het mogelijk de geheugencomplexiteit terug te brengen van kwadratisch naar lineair en versnelde de berekeningen met een factor 2–4.

In 2023 werd een verbeterde versie gepresenteerd — FlashAttention-2, die de parallellisatie van berekeningen optimaliseerde. Op GPU-architectuur NVIDIA Ampere (A100) behaalde het ~70% van de theoretische piekprestaties. Op de nieuwere architectuur NVIDIA Hopper (H100) bleek de efficiëntie echter aanzienlijk lager — ongeveer 35%. Dit had te maken met het feit dat het algoritme geen gebruik maakte van de nieuwe hardwaremogelijkheden van Hopper, wat de aanleiding vormde voor de ontwikkeling van FlashAttention-3.

Nieuwe hardwaremogelijkheden van GPU Hopper (H100)

De NVIDIA Hopper-architectuur biedt een aantal nieuwe functies die FlashAttention-3 benut voor maximale prestaties:

• WGMMA (Warpgroup Matrix Multiply-Accumulate): Een nieuw type instructies voor tensor cores dat matrixvermenigvuldigingen uitvoert met een bijna verdubbeling van de prestaties ten opzichte van de Ampere-architectuur.
• TMA (Tensor Memory Accelerator): Een hardwaremodule die de gegevensoverdracht tussen het globale (HBM) en het gedeelde geheugen (shared memory) versnelt. TMA voert adresberekeningen automatisch uit, waardoor de rekenkernels worden ontlast.
• FP8-formaat: Hardwareondersteuning voor een 8-bits drijvende-komma-gegevensformaat dat de theoretische prestaties verdubbelt ten opzichte van FP16, maar het risico op nauwkeurigheidsverlies met zich meebrengt door het beperkte dynamische bereik.

Technische innovaties van FlashAttention-3

Het algoritme implementeert drie belangrijke optimalisatiemethoden, speciaal ontwikkeld voor de Hopper-architectuur:

1. Asynchrone uitvoering en warp-specialisatie

FlashAttention-3 maakt gebruik van het principe van warp-specialization, waarbij verschillende groepen threads (warps) op de GPU gespecialiseerd zijn in verschillende taken:

• Producer warps: Laden gegevens uit het globale geheugen via TMA.
• Consumer warps: Voeren matrixvermenigvuldigingen uit op de tensor cores.

Dankzij de hardwarematige asynchroniteit van Hopper overlappen deze bewerkingen in de tijd. Terwijl één groep warps berekeningen uitvoert, laadt een andere groep parallel de gegevens voor het volgende blok. Deze pipelinematige aanpak, georganiseerd volgens het ping-pong scheduling-principe, maakt het mogelijk de vertragingen van langzame bewerkingen (zoals Softmax) te verbergen en alle functionele eenheden van de GPU maximaal te benutten.

2. Minimalisatie van geheugenoperaties

Het algoritme behoudt de tiling-filosofie uit eerdere versies, maar maakt actief gebruik van TMA voor het asynchroon laden van de volgende gegevensblokken parallel aan de huidige berekeningen. De gegevensoverdracht van het langzame HBM naar het snelle SRAM vindt in feite plaats "in de schaduw" van de hoofdberekeningen, waardoor de GPU minder stil staat te wachten op gegevens.

3. Lage precisie (FP8) met reductie van kwantisatiefout

De overstap naar FP8 verdubbelt de snelheid, maar kan leiden tot aanzienlijk nauwkeurigheidsverlies door kwantisatie. Om dit te bestrijden hebben de ontwikkelaars de methode incoherent processing geïmplementeerd. De essentie hiervan is als volgt:

1. Vóór de berekening van de attention worden de kenmerkenvectoren (queries Q en keys K) vermenigvuldigd met een willekeurige orthogonale matrix (bijvoorbeeld een Hadamard-matrix).
2. Deze transformatie "verspreidt" waarden met een abnormaal grote absolute waarde (uitschieters) over alle coördinaten, waardoor hun verdeling wordt genivelleerd.
3. Vervolgens wordt kwantisatie naar FP8 uitgevoerd, die nu met een kleinere fout verloopt.
4. Omdat de transformatie orthogonaal is, vervormt ze het eindresultaat van de attention (QKᵀ) niet, aangezien het effect van de matrix bij de vermenigvuldiging tenietgedaan wordt.

Deze techniek maakte het mogelijk de berekeningsfout van attention in FP8 met ongeveer 2,6 keer te verminderen in vergelijking met standaard toepassing van FP8 zonder transformaties.

Prestaties en betekenis

De toepassing van de genoemde technieken stelde FlashAttention-3 in staat aanzienlijke superioriteit te bereiken ten opzichte van vorige versies op de H100-GPU:

• Versnelling van 1,5–2 keer ten opzichte van FlashAttention-2.
• Hoge GPU-benutting: Bereikt ~75–85% van het theoretische prestatiesmaximum van de H100.
• Doorvoersnelheid:
  • Tot 740–840 TFLOPS voor halve precisie (FP16/BF16).
  • Tot 1,2–1,3 PFLOPS (petaflops) bij gebruik van 8-bits precisie (FP8).

De hoge efficiëntie van FlashAttention-3 heeft een directe invloed op de ontwikkeling en toepassing van LLM's:

• Verkorting van de trainingstijd: Een versnelling van de attention met 75–100% verkort de trainingstijd van modellen aanzienlijk, die weken of maanden in beslag kan nemen.
• Vergroting van het contextvenster: Modellen kunnen effectief langere reeksen verwerken (honderdduizenden tokens), wat belangrijk is voor de analyse van grote documenten of code.
• Rationeel gebruik van resources: Maakt het mogelijk dezelfde prestaties te bereiken met minder GPU's, of hogere snelheid te behalen op dezelfde hardware, waardoor de kosten voor de uitrol van modellen dalen.

Beschikbaarheid en integratie

De auteurs hebben de broncode van FlashAttention-3 gepubliceerd onder een open licentie op GitHub. Integratie in toonaangevende deep learning-frameworks zoals PyTorch en de Hugging Face Transformers-bibliotheken wordt verwacht, waardoor de technologie beschikbaar wordt voor een brede kring van ontwikkelaars en onderzoekers. Eerdere versies zijn al de de-facto standaard in de industrie geworden, en FlashAttention-3 zal deze trend waarschijnlijk voortzetten.

Verwijzingen

• Officiële FlashAttention-repository op GitHub
• Blog van Together AI met de aankondiging van FlashAttention-3

Literatuur

• Shah, J. et al. (2024). FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision. arXiv:2407.08608.
• Dao, T. (2023). FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning. arXiv:2307.08691.
• Dao, T. et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. arXiv:2205.14135.
• Kwon, W. et al. (2023). Efficient Memory Management for Large Language Model Serving with PagedAttention. arXiv:2309.06180.
• Ye, Z. et al. (2025). FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving. arXiv:2501.01005.
• Chen, Y. et al. (2023). FlashDecoding++: Faster Large Language Model Inference on GPUs. arXiv:2311.01282.
• Liu, Y. et al. (2024). FastAttention: Extending FlashAttention-2 to NPUs and Low-Resource GPUs. OpenReview: 76NYyOrnfk.
• Dege, P. et al. (2025). FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs. arXiv:2506.01969.
• Wang, G. et al. (2024). FlashMask: Efficient and Rich Mask Extension of FlashAttention. arXiv:2410.01359.
• Abbott, V.; Zardini, G. (2025). FlashAttention on a Napkin: A Diagrammatic Approach to Deep Learning IO-Awareness. arXiv:2412.03317.