--- title: "LLM quality metrics — مقاييس جودة LLM" source: "https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM" wiki: "systems-analysis.info/int" article: "LLM_quality_metrics_—_مقاييس_جودة_LLM" language: "ar" categories: - "Category:Arabic" - "Category:Large language models" - "Category:LLM evaluation" - "Category:Machine learning" revision_id: 3664 wiki_created_at: 2026-09-06T23:24:09Z wiki_modified_at: 2026-09-06T23:24:09Z downloaded_at: 2026-09-07T22:58:11Z --- # LLM quality metrics — مقاييس جودة LLM **مقاييس جودة نماذج اللغة الكبيرة (LLM)** هي نهج منهجي ومجموعة من الأدوات الموحدة لقياس جوانب مختلفة من أداء النماذج اللغوية، بما في ذلك الدقة، والأمان، والإنصاف، والموثوقية^{[\[1\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-perplexity-overview-1)}. مع تزايد استخدام LLM في مجالات حيوية مثل الرعاية الصحية، والتمويل، والتعليم، تبرز حاجة ملحة لتقييمها بشكل شامل وموضوعي^{[\[2\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-perplexity-security-2)}. تؤدي المقاييس والمعايير المرجعية (benchmarks) عدة وظائف رئيسية: فهي تتيح مقارنة موضوعية بين النماذج المختلفة، وتتبع التقدم في تطويرها، وتحديد نقاط الضعف، وضمان شفافية النتائج للباحثين والممارسين^{[\[1\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-perplexity-overview-1)}. ## فئات المقاييس يمكن تقسيم مقاييس تقييم نماذج اللغة الكبيرة إلى عدة فئات رئيسية: المقاييس الآلية، والتقييم البشري، والمقاييس المتخصصة لتقييم الأمان والموثوقية. ### المقاييس الآلية تسمح هذه المقاييس بإجراء تقييم سريع وقابل للتطوير دون تدخل بشري. #### المقاييس القائمة على n-grams مقاييس تقليدية تقيس التطابق المعجمي بين النص المُولَّد والنص المرجعي. - **BLEU** (Bilingual Evaluation Understudy): طُوِّر في الأصل لتقييم جودة الترجمة الآلية. يقيس دقة تطابق الـ n-grams (متتاليات من n كلمة) ويفرض عقوبة على النصوص المُولَّدة القصيرة جدًا^{[\[3\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-ngram-metrics-3)}. - **ROUGE** (Recall-Oriented Understudy for Gisting Evaluation): يركز على الاستدعاء (recall)، حيث يقيس مدى تمثيل n-grams من النص المرجعي في النص المُولَّد. وهو فعال بشكل خاص لتقييم مهام التلخيص^{[\[3\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-ngram-metrics-3)}. - **METEOR**: يوسع قدرات BLEU من خلال مراعاة المرادفات، والكلمات ذات الجذر الواحد، والتنوعات الصرفية، مما يسمح بتحقيق ارتباط أفضل مع التقييمات البشرية^{[\[3\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-ngram-metrics-3)}. #### المقاييس الدلالية تستخدم هذه المقاييس تضمينات سياقية (contextual embeddings) لتقييم التقارب الدلالي، وليس فقط التطابق المعجمي. - **BERTScore**: يحسب التشابه الدلالي بين رموز (tokens) النص المُولَّد والنص المرجعي باستخدام تضمينات من نموذج BERT. يتيح ذلك التعرف على التكافؤ الدلالي حتى مع اختلاف الصياغة^{[\[4\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-semantic-metrics-4)}. - **MAUVE**: يقيس التباعد بين توزيعات النص الآلي والنص البشري في فضاء التضمينات. وهو فعال بشكل خاص لتقييم التوليد المفتوح، حيث لا يوجد نص مرجعي ثابت^{[\[5\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-distribution-metrics-5)}. #### المقاييس الداخلية للنمذجة اللغوية - **الحيرة** (Perplexity): مقياس أساسي يقيس مدى جودة نموذج اللغة في التنبؤ بتسلسل النص. يعكس عدم يقين النموذج في التنبؤ بالرمز التالي. وتشير القيم الأقل من الحيرة إلى أداء أفضل^{[\[6\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-intrinsic-metrics-6)}. - **الدقة ومقياس F1**: يُستخدمان على نطاق واسع في مهام التصنيف وأنظمة الإجابة على الأسئلة. يمثل مقياس F1 المتوسط التوافقي بين الدقة (precision) والاستدعاء (recall)، مما يوفر تقييمًا متوازنًا^{[\[6\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-intrinsic-metrics-6)}. ### التقييم البشري يظل التقييم البشري هو "المعيار الذهبي"، حيث أن المقاييس الآلية غالبًا ما تكون غير قادرة على التقاط الجوانب الدقيقة للجودة، مثل الترابط، والإبداع، والصلة بالموضوع^{[\[7\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-human-eval-7)}. - **التقييم المباشر**: يقوم الخبراء أو العاملون في التعهيد الجماعي (crowdsourcers) بتقييم جودة التوليد وفقًا لمقياس محدد (على سبيل المثال، من 1 إلى 5) بناءً على معايير مثل الطلاقة والترابط. - **التقييم المقارن**: يُطلب من المقيمين مقارنة مخرجات نموذجين أو أكثر واختيار الأفضل (مقارنة زوجية) أو ترتيبها من الأفضل إلى الأسوأ. من عيوب التقييم البشري التكلفة العالية، وصعوبة التوسع، والذاتية^{[\[7\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-human-eval-7)}. ### LLM-as-a-Judge - التقييم باستخدام LLM نهج جديد يتم فيه استخدام نموذج لغوي (عادةً ما يكون أقوى) لتقييم استجابات نموذج آخر. على سبيل المثال، يمكن لـ GPT-4 ترتيب مخرجات النماذج وفقًا لمعايير محددة. توفر هذه الطريقة بديلاً قابلاً للتطوير للتقييم البشري، على الرغم من وجود مشكلات خاصة بها، مثل الحساسية لأسلوب الموجهات والتحيز المحتمل^{[\[8\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-llm-as-judge-8)}. ## المقاييس والمعايير المرجعية المتخصصة لتقييم جوانب محددة من أداء وموثوقية نماذج اللغة الكبيرة، تُستخدم مقاييس ومعايير مرجعية متخصصة. ### الموثوقية الواقعية تقييم قدرة النموذج على توليد معلومات صحيحة وتجنب الهلوسة. - **TruthfulQA**: معيار مرجعي مصمم خصيصًا لقياس ميل النماذج إلى توليد إجابات تستند إلى خرافات ومفاهيم خاطئة شائعة. يُطلب من النموذج تقديم إجابات صحيحة من الناحية الواقعية، وليس مجرد إجابات شائعة^{[\[9\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-security-metrics-9)}. ### الأمان والأخلاقيات - **تقييم السمية**: يقيس وجود محتوى مسيء أو ضار. تُستخدم لهذا الغرض مصنفات وواجهات برمجة تطبيقات متخصصة، مثل **Perspective API**^{[\[9\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-security-metrics-9)}. - **تقييم التحيز والإنصاف**: يقيم ما إذا كان النموذج يظهر سلوكًا تمييزيًا تجاه مجموعات ديموغرافية مختلفة. تظهر الأبحاث أن نماذج اللغة الكبيرة يمكن أن تحتفظ بالقوالب النمطية الاجتماعية الموجودة في بيانات التدريب وتعززها^{[\[10\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-bias-metrics-10)}. - **SafetyBench**: معيار مرجعي شامل لتقييم الأمان، يتضمن التحقق من المتانة ضد الهجمات العدائية (adversarial attacks) والقدرة على تجنب توليد محتوى ضار^{[\[11\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-safety-bench-11)}. ### المعايير المرجعية الشاملة - **MMLU** (Massive Multitask Language Understanding): أحد أكثر المعايير المرجعية استخدامًا، ويشمل أسئلة متعددة الخيارات في 57 مادة، من الرياضيات الابتدائية إلى القانون الدولي. وهو يقيم اتساع وعمق معرفة النموذج^{[\[12\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-comprehensive-benchmarks-12)}. - **BIG-bench** (Beyond the Imitation Game): يحتوي على أكثر من 204 مهمة مصممة لتقييم القدرات التي تتجاوز إمكانيات النماذج اللغوية القياسية، بما في ذلك مهام تتراوح من لعب الشطرنج إلى تخمين الرموز التعبيرية (emojis)^{[\[12\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-comprehensive-benchmarks-12)}. ## التحديات والقيود - **مشكلة الارتباط**: غالبًا ما تكون المقاييس الآلية التقليدية، مثل BLEU و ROUGE، ذات ارتباط ضعيف بالتقييمات البشرية، خاصة في المهام الإبداعية^{[\[13\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-challenges-correlation-13)}. - **تلوث البيانات (Data Contamination)**: هناك خطر من أن تكون بيانات الاختبار الخاصة بالمعيار المرجعي قد تسربت إلى مجموعة تدريب النموذج، مما يؤدي إلى تقييمات مبالغ فيها وغير موثوقة^{[\[14\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-challenges-contamination-14)}. - **التقييم متعدد اللغات**: تركز معظم المقاييس والمعايير المرجعية الحالية على اللغة الإنجليزية، مما يحد من قابليتها للتطبيق لتقييم القدرات متعددة اللغات لنماذج اللغة الكبيرة^{[\[15\]](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_note-challenges-multilingual-15)}. ## روابط خارجية - What Are LLM Benchmarks? — مقال استعراضي من IBM - 20 LLM evaluation benchmarks and how they work — دليل للمعايير المرجعية من Evidently AI ## المراجع - Papineni, K. et al. (2002). *Bleu: a Method for Automatic Evaluation of Machine Translation*. ACL:P02-1040. - Lin, C.-Y. (2004). *ROUGE: A Package for Automatic Evaluation of Summaries*. ACL:W04-1013. - Banerjee, S.; Lavie, A. (2005). *METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments*. ACL:W05-0909. - Zhang, T. et al. (2019). *BERTScore: Evaluating Text Generation with BERT*. arXiv:1904.09675. - Pillutla, K. et al. (2021). *MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers*. arXiv:2102.01454. - Lin, S. et al. (2021). *TruthfulQA: Measuring How Models Mimic Human Falsehoods*. arXiv:2109.07958. - Parrish, A. et al. (2021). *BBQ: A Hand-Built Bias Benchmark for Question Answering*. arXiv:2110.08193. - Dhamala, J. et al. (2021). *BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation*. arXiv:2101.11718. - Hendrycks, D. et al. (2020). *Measuring Massive Multitask Language Understanding*. arXiv:2009.03300. - Srivastava, A. et al. (2022). *Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models*. arXiv:2206.04615. - Zhang, Z. et al. (2023). *SafetyBench: Evaluating the Safety of Large Language Models*. arXiv:2309.07045. - Huang, H. et al. (2024). *An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model is not a General Substitute for GPT-4*. arXiv:2403.02839. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Gu, J. et al. (2024). *A Survey on LLM-as-a-Judge*. arXiv:2411.15594. - Li, S. et al. (2025). *LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge*. arXiv:2506.09443. ## ملاحظات 1. ↑ ^{[1.0](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-perplexity-overview_1-0)} ^{[1.1](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-perplexity-overview_1-1)} "LLM Quality Metrics". *Perplexity AI*. 2. [↑](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-perplexity-security_2-0) "Specialized security metrics". *Perplexity AI*. 3. ↑ ^{[3.0](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-ngram-metrics_3-0)} ^{[3.1](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-ngram-metrics_3-1)} ^{[3.2](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-ngram-metrics_3-2)} "Traditional text evaluation metrics". *Perplexity AI*. 4. [↑](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-semantic-metrics_4-0) "Semantic metrics". *Perplexity AI*. 5. [↑](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-distribution-metrics_5-0) "Distribution-based metrics". *Perplexity AI*. 6. ↑ ^{[6.0](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-intrinsic-metrics_6-0)} ^{[6.1](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-intrinsic-metrics_6-1)} "Intrinsic metrics". *Perplexity AI*. 7. ↑ ^{[7.0](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-human-eval_7-0)} ^{[7.1](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-human-eval_7-1)} "Human Evaluation". *Perplexity AI*. 8. [↑](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-llm-as-judge_8-0) "LLM-as-a-Judge". *Perplexity AI*. 9. ↑ ^{[9.0](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-security-metrics_9-0)} ^{[9.1](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-security-metrics_9-1)} "Specialized security metrics". *Perplexity AI*. 10. [↑](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-bias-metrics_10-0) "Bias and fairness". *Perplexity AI*. 11. [↑](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-safety-bench_11-0) "Safety Benchmarks". *Perplexity AI*. 12. ↑ ^{[12.0](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-comprehensive-benchmarks_12-0)} ^{[12.1](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-comprehensive-benchmarks_12-1)} "Comprehensive evaluation". *Perplexity AI*. 13. [↑](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-challenges-correlation_13-0) "Correlation problems". *Perplexity AI*. 14. [↑](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-challenges-contamination_14-0) "Data Contamination". *Perplexity AI*. 15. [↑](https://systems-analysis.info/int/LLM_quality_metrics_%E2%80%94_%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3_%D8%AC%D9%88%D8%AF%D8%A9_LLM#cite_ref-challenges-multilingual_15-0) "Multilingual evaluation". *Perplexity AI*.