---
title: "FlashAttention-2 — فلاش أتنشن-2"
source: "https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2"
wiki: "systems-analysis.info/int"
article: "FlashAttention-2_—_فلاش_أتنشن-2"
language: "ar"
categories:
  - "Category:Arabic"
  - "Category:Large language models"
  - "Category:Machine learning"
revision_id: 2218
wiki_created_at: 2026-09-06T23:00:29Z
wiki_modified_at: 2026-09-06T23:00:29Z
downloaded_at: 2026-09-07T22:49:54Z
---

# FlashAttention-2 — فلاش أتنشن-2

**FlashAttention-2** هي خوارزمية محسّنة مصممة لحساب آلية الانتباه (attention) في نماذج اللغة الكبيرة (LLM). طوّر الخوارزمية **تري داو** (Tri Dao) وباحثون من جامعة ستانفورد، وقُدمت في يوليو 2023<sup>[\[1\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-arxiv_main-1)</sup>. هدفها الرئيسي هو تسريع تدريب واستدلال (inference) نماذج الترانسفورمر بشكل كبير من خلال استخدام أكثر كفاءة لموارد أجهزة وحدات معالجة الرسوميات (GPU)، مع الحفاظ على التطابق التام للحسابات مع آلية الانتباه القياسية، أي **دون أي فقدان في الدقة**.

تُعد FlashAttention-2 امتدادًا منطقيًا لخوارزمية **FlashAttention** التي قدمها نفس الفريق في عام 2022. تعالج النسخة الجديدة مشكلة عدم استغلال وحدات معالجة الرسوميات بشكل كامل، والتي لوحظت في الإصدار السابق، وتحقق زيادة في السرعة تصل إلى ضعفين تقريبًا مقارنة بالنسخة الأولى.

## الخلفية: مشكلة الانتباه في نماذج الترانسفورمر

تُعتبر آلية الانتباه الذاتي (self-attention) القياسية عنق الزجاجة عند التعامل مع تسلسلات نصية طويلة في نماذج الترانسفورمر. إذ يزداد تعقيدها الحسابي واستهلاكها للذاكرة بشكل **تربيعي** (O(N²)) اعتمادًا على طول التسلسل (N)، مما يفرض قيودًا كبيرة على أقصى طول للسياق وقابلية التوسع لنماذج اللغة الكبيرة<sup>[\[1\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-arxiv_main-1)</sup>.

لمعالجة هذه المشكلة، تم تقديم خوارزمية **FlashAttention** في عام 2022<sup>[\[2\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-huggingface_optim-2)</sup>. وتتمثل أفكارها الرئيسية في:

- **مراعاة التسلسل الهرمي لذاكرة GPU (IO-awareness)**: تقلل الخوارزمية من عمليات القراءة/الكتابة المكلفة بين ذاكرة GPU البطيئة (HBM) والذاكرة الثابتة السريعة (SRAM) الموجودة على الشريحة.
- **المعالجة بالكتل (tiling)**: تُقسّم الحسابات إلى كتل صغيرة (tiles) تتم معالجتها في ذاكرة SRAM السريعة، مما يتجنب إنشاء مصفوفة الانتباه الكاملة في الذاكرة.

أتاح ذلك تحقيق نمو **خطي** في استهلاك الذاكرة (O(N)) وتسريع بمقدار 2 إلى 4 أضعاف مقارنة بالتطبيقات القياسية<sup>[\[2\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-huggingface_optim-2)</sup>. انتشر استخدام FlashAttention على نطاق واسع وساهم في ظهور نماذج بسياق موسع بشكل كبير، على سبيل المثال، من 2-4 آلاف توكن (GPT-3) إلى 128 ألفًا (GPT-4) وأكثر<sup>[\[3\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-tridao_blog_fa3-3)</sup>. على سبيل المثال، في نموذج **Falcon-40B**، أدى استخدام FlashAttention إلى تسريع الاستدلال بمقدار 3 أضعاف، والأداء العام للتوليد بمقدار 5 أضعاف مقارنة بـ GPT-3<sup>[\[4\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-e2e_analysis-4)</sup>.

## تطوير وأهداف FlashAttention-2

على الرغم من نجاحها، لم تستغل النسخة الأولى من FlashAttention الموارد الحسابية لوحدة معالجة الرسوميات بشكل كامل. على بطاقات الفيديو **NVIDIA A100**، كان الأداء يصل فقط إلى **25-40%** من الحد الأقصى النظري (FLOPs/s)<sup>[\[1\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-arxiv_main-1)</sup>. وكان السبب الرئيسي هو التحميل غير الأمثل للمعالجات المتعددة المتدفقة (Streaming Multiprocessors) والعمليات الزائدة مع الذاكرة المشتركة<sup>[\[5\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-openreview_fa2-5)</sup>.

كان الهدف من **FlashAttention-2** هو زيادة تسريع الحسابات من خلال موازاة العمل بشكل أكثر كفاءة وتقليل العمليات المساعدة. تمت إعادة كتابة الخوارزمية بالكامل باستخدام الوحدات الأولية منخفضة المستوى من مكتبة **NVIDIA CUTLASS 3.x** لتحقيق أقصى أداء ممكن<sup>[\[6\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-hazyresearch_blog-6)</sup>.

## البنية التقنية ومبادئ العمل

تقدم FlashAttention-2 ثلاثة تحسينات رئيسية لزيادة التوازي والكفاءة<sup>[\[1\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-arxiv_main-1)</sup>:

### 1. تقليل العمليات غير المصفوفية

تقلل الخوارزمية من عدد عمليات الفاصلة العائمة المساعدة التي ليست عمليات ضرب مصفوفات (non-matmul FLOPs). وبما أن نوى التنسور في وحدات معالجة الرسوميات مُحسَّنة خصيصًا لعمليات المصفوفات (GEMM) وتنفذها بسرعة تصل إلى 16 مرة أسرع، فإن هذا التغيير يسمح باستخدام أكثر كتل GPU إنتاجية معظم الوقت.

### 2. توازي محسن

في FlashAttention الأصلية، لم يكن العمل على "رأس" انتباه واحد متوازيًا، مما أدى إلى فترات خمول عند التعامل مع تسلسلات طويلة وأحجام دفعات صغيرة. تقدم FlashAttention-2 **التوازي بين الكتل**: حيث يتم الآن توزيع الحسابات لرأس انتباه واحد بين معالجات متعددة متدفقة مختلفة على وحدة معالجة الرسوميات، مما يزيد من استغلالها بشكل كبير.

### 3. تقسيم محسن للعمل داخل الكتلة

على مستوى كتلة الحوسبة الواحدة، أُعيد توزيع العمل بين مجموعات الخيوط (warps) لتقليل تبادل البيانات عبر الذاكرة المشتركة (shared memory). هذا يقلل من عدد عمليات القراءة/الكتابة الزائدة اللازمة لتطبيع Softmax.

## الأداء والكفاءة

بفضل التحسينات المعمارية، يُظهر FlashAttention-2 زيادة كبيرة في الأداء:

- **تسريع مضاعف**: تعمل الخوارزمية بسرعة **ضعف** سرعة الإصدار الأول من FlashAttention تقريبًا<sup>[\[1\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-arxiv_main-1)</sup>.
- **استغلال عالٍ لوحدة معالجة الرسوميات**: على وحدات معالجة الرسوميات **NVIDIA A100**، يتم تحقيق **50-73%** من الإنتاجية النظرية القصوى (TFLOPs)، وهو ما يقترب من كفاءة عمليات ضرب المصفوفات المحسّنة (GEMM)<sup>[\[1\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-arxiv_main-1)</sup>.
- **سرعة حساب قياسية**:
  - على وحدة معالجة الرسوميات **A100**، تصل السرعة إلى **225 TFLOP/s** في دورة التدريب الكاملة لنموذج من نوع GPT، وهو ما يعادل 72% من استغلال وحدات الحوسبة. للمقارنة، كان الانتباه القياسي في نفس الظروف يحمّل وحدة معالجة الرسوميات بأقل من 100 TFLOP/s<sup>[\[7\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-arxiv_pdf-7)</sup>.
  - على وحدة معالجة الرسوميات **H100**، يصل الأداء إلى **335 TFLOP/s**<sup>[\[7\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-arxiv_pdf-7)</sup>.

تسمح هذه الزيادة في الأداء، على سبيل المثال، بتدريب نموذج بنافذة سياق تبلغ **16k** توكن في نفس الوقت الذي كان يتطلبه سابقًا نافذة بحجم **8k** توكن<sup>[\[5\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-openreview_fa2-5)</sup>. من المهم ملاحظة أن الخوارزمية تظل **دقيقة** وحتمية، لذا فإن تطبيقها لا يؤثر على جودة تنبؤات النموذج<sup>[\[8\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-raschka_blog-8)</sup>.

## التطبيق والتكامل في النظام البيئي

سرعان ما أصبح FlashAttention-2 أداة قياسية في النظام البيئي لنماذج اللغة الكبيرة. وهو مدمج في العديد من الأطر والمكتبات الشائعة:

- **PyTorch**: دعم أصلي.
- **Hugging Face Transformers**: يتم تمكين الدعم باستخدام المعلمة \`attn_implementation="flash_attention_2"\` عند تحميل النموذج<sup>[\[9\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-linkedin_younes-9)</sup>. وهو متوافق مع العشرات من البنى (GPT، Llama، Falcon، BERT وغيرها)<sup>[\[10\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-huggingface_gpu_infer-10)</sup>.
- **TensorRT-LLM**، **xFormers** و**Triton**: تم تنفيذ الخوارزمية لهذه المنصات، مما يضمن تطبيقًا واسع النطاق<sup>[\[7\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-arxiv_pdf-7)</sup>.

يسمح التكامل بدمج FlashAttention-2 بسهولة مع طرق التحسين الأخرى، مثل التكميم (quantization) (GPTQ، QLoRA) والضبط الدقيق الفعال (PEFT)<sup>[\[9\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-linkedin_younes-9)</sup>.

## المقارنة مع الإصدارات اللاحقة

### FlashAttention-3 - فلاش أتنشن-3

تستمر الأبحاث في مجال تحسين الانتباه. في يوليو 2024، قدم تري داو **FlashAttention-3**، الذي يهدف إلى استغلال قدرات بنية **NVIDIA Hopper** لوحدات معالجة الرسوميات (H100/H200). الابتكارات الرئيسية تشمل<sup>[\[3\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-tridao_blog_fa3-3)</sup>:

- **دعم FP8**: يستخدم حسابات الفاصلة العائمة 8-بت لزيادة التسريع.
- **العمليات غير المتزامنة**: يستخدم بشكل أكثر كفاءة القدرات غير المتزامنة لوحدة معالجة الرسوميات.

يوفر FlashAttention-3 تسريعًا بمقدار **1.5-2 مرة** مقارنة بـ FlashAttention-2 على وحدات H100، ويصل إلى أداء يصل إلى **740 TFLOP/s** (75% من الحد الأقصى النظري)<sup>[\[11\]](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_note-arxiv_fa3-11)</sup>.

## مراجع

- Dao, T. (2023). *FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning*. <a href="https://arxiv.org/abs/2307.08691" class="external text" rel="nofollow">arXiv:2307.08691</a>.
- Dao, T. et al. (2022). *FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness*. <a href="https://arxiv.org/abs/2205.14135" class="external text" rel="nofollow">arXiv:2205.14135</a>.
- Shah, J. et al. (2024). *FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision*. <a href="https://arxiv.org/abs/2407.08608" class="external text" rel="nofollow">arXiv:2407.08608</a>.
- Kwon, W. et al. (2023). *Efficient Memory Management for Large Language Model Serving with PagedAttention*. <a href="https://arxiv.org/abs/2309.06180" class="external text" rel="nofollow">arXiv:2309.06180</a>.
- Ye, Z. et al. (2025). *FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving*. <a href="https://arxiv.org/abs/2501.01005" class="external text" rel="nofollow">arXiv:2501.01005</a>.
- Chen, Y. et al. (2023). *FlashDecoding++: Faster Large Language Model Inference on GPUs*. <a href="https://arxiv.org/abs/2311.01282" class="external text" rel="nofollow">arXiv:2311.01282</a>.
- Liu, Y. et al. (2024). *FastAttention: Extending FlashAttention-2 to NPUs and Low-Resource GPUs*. <a href="https://openreview.net/forum?id=76NYyOrnfk" class="external text" rel="nofollow">OpenReview: 76NYyOrnfk</a>.
- Dege, P. et al. (2025). *FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs*. <a href="https://arxiv.org/abs/2506.01969" class="external text" rel="nofollow">arXiv:2506.01969</a>.
- Wang, G. et al. (2024). *FlashMask: Efficient and Rich Mask Extension of FlashAttention*. <a href="https://openreview.net/forum?id=rog0J435OO" class="external text" rel="nofollow">OpenReview: rog0J435OO</a>.
- Abbott, V.; Zardini, G. (2025). *FlashAttention on a Napkin: A Diagrammatic Approach to Deep Learning IO-Awareness*. <a href="https://arxiv.org/abs/2412.03317" class="external text" rel="nofollow">arXiv:2412.03317</a>.

## ملاحظات

1.  <span id="cite_note-arxiv_main-1">↑ <sup>[1.0](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-arxiv_main_1-0)</sup> <sup>[1.1](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-arxiv_main_1-1)</sup> <sup>[1.2](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-arxiv_main_1-2)</sup> <sup>[1.3](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-arxiv_main_1-3)</sup> <sup>[1.4](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-arxiv_main_1-4)</sup> <sup>[1.5](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-arxiv_main_1-5)</sup> داو، تري. «FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning». *arXiv:2307.08691* \[cs.LG\]، 17 يوليو 2023. <a href="https://arxiv.org/abs/2307.08691" class="external autonumber" rel="nofollow">[١]</a></span>
2.  <span id="cite_note-huggingface_optim-2">↑ <sup>[2.0](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-huggingface_optim_2-0)</sup> <sup>[2.1](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-huggingface_optim_2-1)</sup> «Optimizing LLMs for Speed and Memory». *Hugging Face Documentation*. <a href="https://huggingface.co/docs/transformers/v4.42.0/en/llm_tutorial_optimization" class="external autonumber" rel="nofollow">[٢]</a></span>
3.  <span id="cite_note-tridao_blog_fa3-3">↑ <sup>[3.0](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-tridao_blog_fa3_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-tridao_blog_fa3_3-1)</sup> داو، تري. «FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision». *Tri Dao's Blog*. <a href="https://tridao.me/blog/2024/flash3/" class="external autonumber" rel="nofollow">[٣]</a></span>
4.  <span id="cite_note-e2e_analysis-4">[↑](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-e2e_analysis_4-0) «FlashAttention vs FlashAttention-2 - an Analysis». *E2E Networks Blog*. <a href="https://www.e2enetworks.com/blog/shades-of-attention-flashattention-vs-flashattention-2-a-comprehensive-study" class="external autonumber" rel="nofollow">[٤]</a></span>
5.  <span id="cite_note-openreview_fa2-5">↑ <sup>[5.0](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-openreview_fa2_5-0)</sup> <sup>[5.1](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-openreview_fa2_5-1)</sup> «FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning». *OpenReview*. <a href="https://openreview.net/forum?id=mZn2Xyh9Ec" class="external autonumber" rel="nofollow">[٥]</a></span>
6.  <span id="cite_note-hazyresearch_blog-6">[↑](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-hazyresearch_blog_6-0) «FlashAttention-2». *Hazy Research, Stanford University*. <a href="https://hazyresearch.stanford.edu/blog/2023-07-17-flash2" class="external autonumber" rel="nofollow">[٦]</a></span>
7.  <span id="cite_note-arxiv_pdf-7">↑ <sup>[7.0](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-arxiv_pdf_7-0)</sup> <sup>[7.1](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-arxiv_pdf_7-1)</sup> <sup>[7.2](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-arxiv_pdf_7-2)</sup> داو، تري. «FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning» (PDF). *arXiv:2307.08691*. <a href="https://arxiv.org/pdf/2307.08691.pdf" class="external autonumber" rel="nofollow">[٧]</a></span>
8.  <span id="cite_note-raschka_blog-8">[↑](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-raschka_blog_8-0) راشكا، سيباستيان. «Llama 2 and FlashAttention 2». *Ahead of AI Magazine*. <a href="https://magazine.sebastianraschka.com/p/research-highlights-in-three-sentences" class="external autonumber" rel="nofollow">[٨]</a></span>
9.  <span id="cite_note-linkedin_younes-9">↑ <sup>[9.0](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-linkedin_younes_9-0)</sup> <sup>[9.1](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-linkedin_younes_9-1)</sup> بلقادة، يونس. «Faster and more memory efficient models with Flash Attention 2!». *LinkedIn*. <a href="https://www.linkedin.com/posts/younes-belkada-b1a903145_flashattention-llms-activity-7112061650106474496-1dzz" class="external autonumber" rel="nofollow">[٩]</a></span>
10. <span id="cite_note-huggingface_gpu_infer-10">[↑](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-huggingface_gpu_infer_10-0) «GPU inference». *Hugging Face Documentation*. <a href="https://huggingface.co/docs/transformers/v4.39.0/perf_infer_gpu_one" class="external autonumber" rel="nofollow">[١٠]</a></span>
11. <span id="cite_note-arxiv_fa3-11">[↑](https://systems-analysis.info/int/FlashAttention-2_%E2%80%94_%D9%81%D9%84%D8%A7%D8%B4_%D8%A3%D8%AA%D9%86%D8%B4%D9%86-2#cite_ref-arxiv_fa3_11-0) داو، تري، وآخرون. «FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision». *arXiv:2407.08608* \[cs.LG\]، 11 يوليو 2024. <a href="https://arxiv.org/abs/2407.08608" class="external autonumber" rel="nofollow">[١١]</a></span>