LLM quality metrics — LLM गुणवत्ता मेट्रिक्स

From Systems analysis Wiki
Jump to navigation Jump to search

बड़े भाषा मॉडलों (LLM) की गुणवत्ता मेट्रिक्स — यह भाषा मॉडलों के प्रदर्शन के विभिन्न पहलुओं को मापने के लिए एक व्यवस्थित दृष्टिकोण और मानकीकृत उपकरणों का समूह है, जिसमें सटीकता, सुरक्षा, निष्पक्षता और विश्वसनीयता शामिल हैं[1]। जैसे-जैसे LLM स्वास्थ्य सेवा, वित्त और शिक्षा जैसे महत्वपूर्ण क्षेत्रों में व्यापक उपयोग पा रहे हैं, उनके व्यापक और वस्तुनिष्ठ मूल्यांकन की तीव्र आवश्यकता उत्पन्न हो रही है[2]।

मेट्रिक्स और benchmark कई प्रमुख कार्य करते हैं: वे विभिन्न मॉडलों की वस्तुनिष्ठ तुलना, उनके विकास में प्रगति की निगरानी, कमज़ोरियों की पहचान और शोधकर्ताओं एवं व्यवसायियों के लिए परिणामों की पारदर्शिता सुनिश्चित करते हैं[1]।

मेट्रिक्स की श्रेणियाँ

LLM के मूल्यांकन के लिए मेट्रिक्स को कई मुख्य श्रेणियों में विभाजित किया जा सकता है: स्वचालित मेट्रिक्स, मानव-सहभागिता वाला मूल्यांकन और सुरक्षा एवं विश्वसनीयता के मूल्यांकन के लिए विशेष मेट्रिक्स।

स्वचालित मेट्रिक्स

ये मेट्रिक्स मानव की भागीदारी के बिना त्वरित और स्केलेबल मूल्यांकन की अनुमति देती हैं।

n-gram आधारित मेट्रिक्स

पारंपरिक मेट्रिक्स जो उत्पन्न और संदर्भ पाठ के बीच शाब्दिक मिलान को मापती हैं।

  • BLEU (Bilingual Evaluation Understudy): मूल रूप से मशीनी अनुवाद की गुणवत्ता मूल्यांकन के लिए विकसित। n-gram (n शब्दों के अनुक्रम) के मिलान की सटीकता मापती है और अत्यधिक छोटे उत्पन्न पाठों के लिए दंड लागू करती है[3]।
  • ROUGE (Recall-Oriented Understudy for Gisting Evaluation): संपूर्णता पर ध्यान केंद्रित करती है और मापती है कि संदर्भ पाठ के n-gram उत्पन्न पाठ में कितनी अच्छी तरह प्रतिनिधित्व पाते हैं। सारांशीकरण कार्यों के मूल्यांकन के लिए विशेष रूप से प्रभावी है[3]।
  • METEOR: BLEU की क्षमताओं का विस्तार करती है, पर्यायवाची शब्दों, एकल-मूल शब्दों और रूपात्मक रूपांतरों को ध्यान में रखकर मानव मूल्यांकन के साथ बेहतर सहसंबंध प्राप्त करती है[3]।

सिमेंटिक मेट्रिक्स

ये मेट्रिक्स केवल शाब्दिक मिलान के बजाय सिमेंटिक निकटता का मूल्यांकन करने के लिए संदर्भात्मक embedding का उपयोग करती हैं।

  • BERTScore: BERT मॉडल के embedding का उपयोग करके उत्पन्न और संदर्भ पाठ के token के बीच सिमेंटिक समानता की गणना करती है। यह भिन्न शब्द-विन्यास के बावजूद सिमेंटिक समानता को पहचानने में सक्षम बनाती है[4]।
  • MAUVE: embedding स्थान में मशीन और मानव पाठ के वितरण के बीच विचलन को मापती है। खुली पीढ़ी के मूल्यांकन के लिए विशेष रूप से प्रभावी है जहाँ कोई निश्चित संदर्भ पाठ नहीं होता[5]।

भाषा मॉडलिंग की आंतरिक मेट्रिक्स

  • Perplexity (पर्प्लेक्सिटी): एक मौलिक मेट्रिक जो यह मापती है कि भाषा मॉडल पाठ अनुक्रम की कितनी अच्छी भविष्यवाणी करता है। यह अगले token की भविष्यवाणी में मॉडल की अनिश्चितता को दर्शाती है। Perplexity का कम मान बेहतर प्रदर्शन दर्शाता है[6]।
  • सटीकता और F1-माप: वर्गीकरण और प्रश्न-उत्तर प्रणालियों में व्यापक रूप से उपयोग किए जाते हैं। F1-माप सटीकता और पुनर्प्राप्ति के बीच हार्मोनिक माध्य है, जो संतुलित मूल्यांकन सुनिश्चित करता है[6]।

मानव-सहभागिता वाला मूल्यांकन

मानव मूल्यांकन 'स्वर्ण मानक' बना हुआ है, क्योंकि स्वचालित मेट्रिक्स अक्सर गुणवत्ता के सूक्ष्म पहलुओं जैसे सुसंगतता, रचनात्मकता और प्रासंगिकता को नहीं पकड़ पातीं[7]।

  • प्रत्यक्ष मूल्यांकन: विशेषज्ञ या crowdsourcer निर्धारित पैमाने (जैसे, 1 से 5) पर प्रवाह और सुसंगतता जैसे मानदंडों के आधार पर उत्पन्न पाठ की गुणवत्ता का मूल्यांकन करते हैं।
  • तुलनात्मक मूल्यांकन: मूल्यांकनकर्ताओं को दो या अधिक मॉडलों के आउटपुट की तुलना करने और सर्वश्रेष्ठ चुनने (युगल तुलना) या उन्हें सर्वश्रेष्ठ से निकृष्ट क्रम में रैंक करने के लिए कहा जाता है।

मानव मूल्यांकन के नुकसानों में उच्च लागत, मापनीयता की जटिलता और व्यक्तिपरकता शामिल हैं[7]।

LLM द्वारा मूल्यांकन (LLM-as-a-Judge)

यह एक नया दृष्टिकोण है जिसमें एक (आमतौर पर अधिक शक्तिशाली) भाषा मॉडल का उपयोग दूसरे के उत्तरों का मूल्यांकन करने के लिए किया जाता है। उदाहरण के लिए, GPT-4 निर्धारित मानदंडों के आधार पर मॉडलों के आउटपुट को रैंक कर सकता है। यह विधि मानव मूल्यांकन का एक स्केलेबल विकल्प प्रदान करती है, हालाँकि इसकी अपनी चुनौतियाँ भी हैं, जैसे prompt की शैली के प्रति संवेदनशीलता और संभावित पूर्वाग्रह[8]।

विशेष मेट्रिक्स और benchmark

LLM के प्रदर्शन और विश्वसनीयता के विशिष्ट पहलुओं का मूल्यांकन करने के लिए विशेष मेट्रिक्स और benchmark का उपयोग किया जाता है।

तथ्यात्मक विश्वसनीयता

सत्य जानकारी उत्पन्न करने और मतिभ्रम (hallucination) से बचने की मॉडल की क्षमता का मूल्यांकन करती है।

  • TruthfulQA: एक benchmark जो विशेष रूप से मॉडलों की सामान्य मिथकों और भ्रांतियों पर आधारित उत्तर देने की प्रवृत्ति को मापने के लिए विकसित किया गया है। मॉडल से केवल लोकप्रिय नहीं बल्कि तथ्यात्मक रूप से सही उत्तर देने की अपेक्षा की जाती है[9]।

सुरक्षा और नैतिकता

  • विषाक्तता मूल्यांकन: आपत्तिजनक या हानिकारक सामग्री की उपस्थिति को मापती है। इसके लिए विशेष classifier और API जैसे Perspective API का उपयोग किया जाता है[9]।
  • पूर्वाग्रह और निष्पक्षता मूल्यांकन: यह मूल्यांकन करता है कि मॉडल विभिन्न जनसांख्यिकीय समूहों के प्रति भेदभावपूर्ण व्यवहार दर्शाता है या नहीं। शोध दर्शाते हैं कि LLM प्रशिक्षण डेटा से सामाजिक रूढ़िवादिता को बनाए रख और बढ़ा सकते हैं[10]।
  • SafetyBench: सुरक्षा मूल्यांकन के लिए एक व्यापक benchmark जिसमें adversarial-attack के प्रति प्रतिरोध और हानिकारक सामग्री उत्पन्न करने से बचने की क्षमता की जाँच शामिल है[11]।

व्यापक benchmark

  • MMLU (Massive Multitask Language Understanding): सबसे व्यापक रूप से उपयोग किए जाने वाले benchmark में से एक, जिसमें प्राथमिक गणित से लेकर अंतर्राष्ट्रीय कानून तक 57 विषयों पर बहुविकल्पीय प्रश्न शामिल हैं। यह मॉडल के ज्ञान की चौड़ाई और गहराई का मूल्यांकन करता है[12]।
  • BIG-bench (Beyond the Imitation Game): इसमें 204 से अधिक कार्य हैं जो मानक भाषा मॉडलों की क्षमताओं से परे क्षमताओं का मूल्यांकन करने के लिए विकसित किए गए हैं, जिनमें शतरंज खेलने से लेकर इमोजी अनुमान लगाने तक के कार्य शामिल हैं[12]।

चुनौतियाँ और सीमाएँ

  • सहसंबंध की समस्या: BLEU और ROUGE जैसी पारंपरिक स्वचालित मेट्रिक्स अक्सर मानव मूल्यांकन के साथ कमज़ोर सहसंबंध दर्शाती हैं, विशेष रूप से रचनात्मक कार्यों में[13]।
  • डेटा संदूषण (Data Contamination): यह जोखिम रहता है कि benchmark का परीक्षण डेटा मॉडल के प्रशिक्षण सेट में शामिल हो सकता है, जिससे अतिरंजित और अविश्वसनीय मूल्यांकन परिणाम सामने आते हैं[14]।
  • बहुभाषी मूल्यांकन: अधिकांश मौजूदा मेट्रिक्स और benchmark अंग्रेज़ी भाषा पर केंद्रित हैं, जो LLM की बहुभाषी क्षमताओं के मूल्यांकन में उनकी उपयोगिता को सीमित करती हैं[15]।

संदर्भ

  • What Are LLM Benchmarks? — IBM द्वारा समीक्षात्मक लेख
  • 20 LLM evaluation benchmarks and how they work — Evidently AI द्वारा benchmark मार्गदर्शिका

साहित्य

  • Papineni, K. et al. (2002). Bleu: a Method for Automatic Evaluation of Machine Translation. ACL:P02-1040.
  • Lin, C.-Y. (2004). ROUGE: A Package for Automatic Evaluation of Summaries. ACL:W04-1013.
  • Banerjee, S.; Lavie, A. (2005). METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. ACL:W05-0909.
  • Zhang, T. et al. (2019). BERTScore: Evaluating Text Generation with BERT. arXiv:1904.09675.
  • Pillutla, K. et al. (2021). MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. arXiv:2102.01454.
  • Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
  • Parrish, A. et al. (2021). BBQ: A Hand-Built Bias Benchmark for Question Answering. arXiv:2110.08193.
  • Dhamala, J. et al. (2021). BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation. arXiv:2101.11718.
  • Hendrycks, D. et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.
  • Srivastava, A. et al. (2022). Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models. arXiv:2206.04615.
  • Zhang, Z. et al. (2023). SafetyBench: Evaluating the Safety of Large Language Models. arXiv:2309.07045.
  • Huang, H. et al. (2024). An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model is not a General Substitute for GPT-4. arXiv:2403.02839.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Gu, J. et al. (2024). A Survey on LLM-as-a-Judge. arXiv:2411.15594.
  • Li, S. et al. (2025). LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge. arXiv:2506.09443.

टिप्पणियाँ

  1. ↑ 1.0 1.1 «Метрики качества LLM». Perplexity AI.
  2. ↑ «Специализированные метрики безопасности». Perplexity AI.
  3. ↑ 3.0 3.1 3.2 «Традиционные метрики оценки текста». Perplexity AI.
  4. ↑ «Семантические метрики». Perplexity AI.
  5. ↑ «Метрики на основе распределений». Perplexity AI.
  6. ↑ 6.0 6.1 «Intrinsic метрики». Perplexity AI.
  7. ↑ 7.0 7.1 «Оценка с участием человека». Perplexity AI.
  8. ↑ «LLM-as-a-Judge». Perplexity AI.
  9. ↑ 9.0 9.1 «Специализированные метрики безопасности». Perplexity AI.
  10. ↑ «Предвзятость и справедливость». Perplexity AI.
  11. ↑ «Benchmark'ы безопасности». Perplexity AI.
  12. ↑ 12.0 12.1 «Comprehensive оценка». Perplexity AI.
  13. ↑ «Проблемы корреляции». Perplexity AI.
  14. ↑ «Загрязнение данных». Perplexity AI.
  15. ↑ «Многоязычная оценка». Perplexity AI.
Retrieved from "https://systems-analysis.info/int/index.php?title=LLM_quality_metrics_—_LLM_गुणवत्ता_मेट्रिक्स&oldid=3657"