FlashAttention-3 (IT)

FlashAttention-3 — è un algoritmo per l'ottimizzazione del meccanismo di attention nelle reti neurali transformer, sviluppato per sfruttare al massimo le capacità hardware delle GPU con architettura NVIDIA Hopper (H100). L'algoritmo è stato presentato nel 2024 da un gruppo di ricercatori delle aziende Colfax Research, Meta, NVIDIA, Georgia Tech, Università di Princeton e Together AI. Il lavoro è stato accettato alla conferenza NeurIPS 2024 e segnalato come spotlight.

FlashAttention-3 è la terza iterazione nella famiglia di algoritmi, successiva a FlashAttention (2022) e FlashAttention-2 (2023). Il suo obiettivo principale è accelerare significativamente l'addestramento e l'inferenza dei grandi modelli linguistici (LLM), mantenendo al contempo la precisione dei calcoli.

Introduzione e contesto

Il problema del meccanismo di attention

Il componente chiave dei transformer è il meccanismo di self-attention; tuttavia, la sua complessità computazionale e il consumo di memoria crescono quadraticamente (O(n²)) all'aumentare della lunghezza della sequenza di input (n). Questo crea un grave "collo di bottiglia", poiché le moderne GPU sono ottimizzate per moltiplicazioni matriciali veloci, ma il calcolo delle funzioni esponenziali (ad esempio nel Softmax) è più lento di ordini di grandezza. Inoltre, in un'implementazione ingenua, nella memoria della GPU deve essere conservato un grande tensore di attention intermedio, il che limita la scalabilità dei modelli.

FlashAttention e FlashAttention-2

Per risolvere questo problema, nel 2022 è stato proposto FlashAttention, che ha ridotto il numero di accessi alla memoria globale lenta (HBM) grazie a due tecniche:

• Elaborazione a blocchi (tiling): I calcoli vengono suddivisi in blocchi (tile) che vengono elaborati nella memoria on-chip veloce (SRAM).
• Fusione delle operazioni: Tutte le operazioni (moltiplicazione matriciale, Softmax) vengono eseguite in un unico kernel GPU senza scrivere i risultati intermedi nella memoria globale.

Questo ha permesso di ridurre la complessità in memoria da quadratica a lineare e di accelerare i calcoli di 2–4 volte.

Nel 2023 è stata presentata una versione migliorata — FlashAttention-2 — che ha ottimizzato la parallelizzazione dei calcoli. Sulle GPU con architettura NVIDIA Ampere (A100) ha raggiunto circa ~70% delle prestazioni teoriche di picco. Tuttavia, sulla più recente architettura NVIDIA Hopper (H100), la sua efficienza si è rivelata significativamente inferiore — circa 35%. Ciò era dovuto al fatto che l'algoritmo non sfruttava le nuove capacità hardware di Hopper, il che ha spinto alla creazione di FlashAttention-3.

Nuove capacità hardware della GPU Hopper (H100)

L'architettura NVIDIA Hopper ha introdotto una serie di nuove funzionalità che FlashAttention-3 sfrutta per ottenere le massime prestazioni:

• WGMMA (Warpgroup Matrix Multiply-Accumulate): Un nuovo tipo di istruzioni per i tensor core, che esegue moltiplicazioni matriciali con quasi il doppio delle prestazioni rispetto all'architettura Ampere.
• TMA (Tensor Memory Accelerator): Un modulo hardware che accelera il trasferimento dei dati tra la memoria globale (HBM) e la memoria condivisa (shared memory). Il TMA esegue automaticamente i calcoli degli indirizzi, alleggerendo il carico dei core computazionali.
• Formato FP8: Supporto hardware per il formato dati in virgola mobile a 8 bit, che raddoppia le prestazioni teoriche rispetto a FP16, ma comporta il rischio di perdita di precisione a causa del limitato range dinamico.

Innovazioni tecniche di FlashAttention-3

L'algoritmo implementa tre metodi chiave di ottimizzazione, sviluppati appositamente per l'architettura Hopper:

1. Esecuzione asincrona e specializzazione dei warp

FlashAttention-3 utilizza il principio della warp-specialization, in cui diversi gruppi di thread (warp) sulla GPU si specializzano in compiti diversi:

• Producer warp: Caricano i dati dalla memoria globale tramite TMA.
• Consumer warp: Eseguono le moltiplicazioni matriciali sui tensor core.

Grazie all'asincronismo hardware di Hopper, queste operazioni si sovrappongono nel tempo. Mentre un gruppo di warp esegue calcoli, un altro carica parallelamente i dati per il blocco successivo. Questo approccio a pipeline (pipeline), organizzato secondo il principio del "ping-pong" (ping-pong scheduling), permette di nascondere le latenze delle operazioni lente (ad esempio Softmax) e di caricare al massimo tutti i moduli funzionali della GPU.

2. Minimizzazione delle operazioni in memoria

L'algoritmo mantiene la filosofia del tiling delle versioni precedenti, ma utilizza attivamente il TMA per il caricamento asincrono dei blocchi di dati successivi in parallelo con i calcoli correnti. Il trasferimento dei dati dalla lenta HBM alla veloce SRAM avviene di fatto "all'ombra" dei calcoli principali, riducendo i tempi di attesa della GPU per i dati.

3. Bassa precisione (FP8) con riduzione dell'errore di quantizzazione

Il passaggio a FP8 raddoppia la velocità, ma può comportare una significativa perdita di precisione dovuta alla quantizzazione. Per combattere questo problema, gli sviluppatori hanno introdotto il metodo dell'incoherent processing. La sua logica è la seguente:

1. Prima del calcolo dell'attention, i vettori di feature (query Q e chiavi K) vengono moltiplicati per una matrice ortogonale casuale (ad esempio, la matrice di Hadamard).
2. Questa trasformazione "distribuisce" i valori con modulo anomalamente grande (outlier) su tutte le coordinate, livellando la loro distribuzione.
3. Successivamente viene eseguita la quantizzazione in FP8, che ora avviene con un errore minore.
4. Poiché la trasformazione è ortogonale, non distorce il risultato finale dell'attention (QKᵀ), in quanto l'effetto della matrice si annulla nella moltiplicazione.

Questa tecnica ha permesso di ridurre l'errore di calcolo dell'attention in FP8 di circa 2,6 volte rispetto all'applicazione standard di FP8 senza trasformazioni.

Prestazioni e importanza

L'applicazione delle tecniche elencate ha permesso a FlashAttention-3 di raggiungere un significativo vantaggio rispetto alle versioni precedenti su GPU H100:

• Accelerazione di 1,5–2 volte rispetto a FlashAttention-2.
• Elevata utilizazione della GPU: Raggiunge circa ~75–85% del massimo teorico delle prestazioni di H100.
• Throughput:
  • Fino a 740–840 TFLOPS per la mezza precisione (FP16/BF16).
  • Fino a 1,2–1,3 PFLOPS (petaflop) con precisione a 8 bit (FP8).

L'elevata efficienza di FlashAttention-3 influisce direttamente sullo sviluppo e sull'applicazione degli LLM:

• Riduzione del tempo di addestramento: Un'accelerazione dell'attention del 75–100% riduce significativamente il tempo di addestramento dei modelli, che può richiedere settimane o mesi.
• Aumento della finestra di contesto: I modelli possono elaborare efficacemente sequenze più lunghe (centinaia di migliaia di token), il che è importante per l'analisi di grandi documenti o codice.
• Utilizzo razionale delle risorse: Consente di raggiungere le stesse prestazioni con un numero inferiore di GPU o di ottenere una velocità maggiore con lo stesso hardware, riducendo il costo di distribuzione dei modelli.

Disponibilità e integrazione

Gli autori hanno pubblicato il codice sorgente di FlashAttention-3 con licenza aperta su GitHub. È prevista la sua integrazione nei principali framework di deep learning, come PyTorch e le librerie Hugging Face Transformers, il che renderà la tecnologia accessibile a un'ampia platea di sviluppatori e ricercatori. Le versioni precedenti sono già diventate lo standard de facto nel settore, e FlashAttention-3 probabilmente continuerà questa tendenza.

Collegamenti esterni

• Repository ufficiale di FlashAttention su GitHub
• Blog di Together AI con l'annuncio di FlashAttention-3

Bibliografia

• Shah, J. et al. (2024). FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision. arXiv:2407.08608.
• Dao, T. (2023). FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning. arXiv:2307.08691.
• Dao, T. et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. arXiv:2205.14135.
• Kwon, W. et al. (2023). Efficient Memory Management for Large Language Model Serving with PagedAttention. arXiv:2309.06180.
• Ye, Z. et al. (2025). FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving. arXiv:2501.01005.
• Chen, Y. et al. (2023). FlashDecoding++: Faster Large Language Model Inference on GPUs. arXiv:2311.01282.
• Liu, Y. et al. (2024). FastAttention: Extending FlashAttention-2 to NPUs and Low-Resource GPUs. OpenReview: 76NYyOrnfk.
• Dege, P. et al. (2025). FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs. arXiv:2506.01969.
• Wang, G. et al. (2024). FlashMask: Efficient and Rich Mask Extension of FlashAttention. arXiv:2410.01359.
• Abbott, V.; Zardini, G. (2025). FlashAttention on a Napkin: A Diagrammatic Approach to Deep Learning IO-Awareness. arXiv:2412.03317.