---
title: "METEOR (metric) (UR)"
source: "https://systems-analysis.info/int/METEOR_(metric)_(UR)"
wiki: "systems-analysis.info/int"
article: "METEOR_(metric)_(UR)"
language: "ur"
categories:
  - "Category:Large language models"
  - "Category:LLM evaluation"
  - "Category:Machine learning"
  - "Category:Urdu"
revision_id: 4035
wiki_created_at: 2026-09-06T23:29:34Z
wiki_modified_at: 2026-09-06T23:29:34Z
downloaded_at: 2026-09-07T23:00:28Z
---

# METEOR (metric) (UR)

**METEOR** — یہ نام قدرتی زبان کی پروسیسنگ (NLP) کے شعبے میں کئی باہم مربوط، مگر مختلف تصورات کے لیے استعمال ہوتا ہے۔ سب سے پہلے، یہ مشینی ترجمے کے معیار کی جانچ کے لیے ایک معروف خودکار metric ہے۔ اس کے علاوہ، 2024 میں اسی نام سے بڑے زبانی ماڈلز (LLM) سے متعلق دو آزاد تحقیقی منصوبے پیش کیے گئے: ایک ارتقائی تربیت کا طریقہ اور ایک ملٹی موڈل زبانی ماڈل۔

## METEOR بطور ترجمے کے معیار کی جانچ کا metric

**METEOR** (مخفف *Metric for Evaluation of Translation with Explicit ORdering*) — یہ مشینی ترجمے کے معیار کی جانچ کے لیے ایک خودکار metric ہے، جسے 2005 میں کارنیگی میلن یونیورسٹی کے محققین ستانجیو بینرجی اور ایلون لیوی نے پیش کیا<sup>[\[1\]](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_note-banerjee_2005-1)</sup>۔ اس کا مقصد خودکار جائزوں اور انسانی فیصلوں کے درمیان، خاص طور پر انفرادی جملوں کی سطح پر، ہم آہنگی بڑھانا تھا اور پہلے کے metric BLEU کی کچھ خامیوں کو دور کرنا تھا۔

METEOR metric کی اہم خصوصیات:

- **درستگی اور مکمل پن کا لحاظ**: BLEU کے برعکس، جو صرف precision پر توجہ دیتا ہے، METEOR درستگی (precision) اور مکمل پن (recall) کے درمیان ہارمونک وسط نکالتا ہے، جس سے ترجمے میں اہم الفاظ چھوڑنے پر سزا دی جا سکتی ہے۔
- **الفاظ کا لچکدار موازنہ**: METEOR ترجمے کو نمونے سے ملانے کے لیے لسانی خصوصیات استعمال کرتا ہے۔ یہ نہ صرف عین مطابقت، بلکہ الفاظ کی مختلف شکلیں (stemming کے ذریعے) اور مترادفات (WordNet کے ذریعے) بھی مدنظر رکھتا ہے۔
- **الفاظ کی ترتیب کی خلاف ورزی پر جرمانہ**: metric میں ایک جرمانہ شامل کیا گیا ہے جو امیدوار ترجمے میں غلط ترتیب الفاظ پر سزا دیتا ہے، چاہے تمام الفاظ نمونے سے مطابقت رکھتے ہوں۔

ان بہتریوں کی وجہ سے METEOR metric، BLEU کے مقابلے میں انسانی جائزوں سے کہیں بہتر ہم آہنگی ظاہر کرتا ہے<sup>[\[2\]](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_note-lavie_2007-2)</sup>۔ یہ metric مشینی ترجمے، خودکار خلاصہ سازی کی تحقیق اور تصاویر کی سرخیوں کی جانچ میں وسیع پیمانے پر استعمال ہوتا ہے<sup>[\[3\]](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_note-ds_dojo-3)</sup>۔

## METEOR بطور LLM کی ارتقائی تربیت کا طریقہ

2024 میں چینی محققین کے ایک گروپ نے **METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth** کے نام سے ایک طریقہ پیش کیا<sup>[\[4\]](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_note-meteor_evolutionary-4)</sup>۔ یہ طریقہ محدود موضوعاتی شعبوں (مثلاً مالیات، طب) میں مہارت رکھنے والے LLM کی موثر تربیت کے لیے ڈیزائن کیا گیا ہے، بغیر ماڈل کو سرے سے تربیت دیے۔

مصنفین LLM کے «ارتقاء» کی تین مرحلاتی اسکیم بیان کرتے ہیں:

1.  **مضبوط ماڈل سے کمزور ماڈل کی طرف علم کی کشید (weak-to-strong data distillation)**: تربیتی مواد تیار کرنے کے لیے ایک زیادہ طاقتور «استاد» ماڈل (مثلاً GPT-4) استعمال کیا جاتا ہے۔ اس میں ڈومین ماڈل پہلے حل کا منصوبہ بناتا ہے، اور طاقتور ماڈل اس منصوبے کی پیروی کرتے ہوئے جواب تیار کرتا ہے۔ اس سے علم کی تقسیم ہم آہنگ ہوتی ہے اور ہدف ماڈل اسے زیادہ موثر طریقے سے جذب کر سکتا ہے۔
2.  **بیرونی رائے کے ساتھ تکراری تربیت (guided iterative training)**: پہلے مرحلے میں تربیت یافتہ ماڈل خود مسائل حل کرتا ہے، جبکہ طاقتور ماڈل «ریفری» کا کردار ادا کرتا ہے، جوابات کا جائزہ لیتا اور غلطیوں کی نشاندہی کرتا ہے۔ یہ عکاسی کا چکر ڈومین ماڈل میں خود جانچ کی صلاحیت پیدا کرتا ہے۔
3.  **خود ارتقاء (self-evolution)**: ماڈل بیرونی نگران کے بغیر اپنی بہتری جاری رکھتا ہے، نئے ڈیٹا کی تیاری اور اصلاح کے لیے جمع شدہ مہارتیں استعمال کرتا ہے۔

یہ طریقہ مخصوص صنعتوں کے لیے سرمایہ کاری مؤثر اور مختصر LLM ماہرین بنانے کا عملی راستہ پیش کرتا ہے<sup>[\[5\]](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_note-meteor_evolutionary_ar5iv-5)</sup>۔

## METEOR بطور ملٹی موڈل LLM ماڈل

اسی طرح 2024 میں KAIST کے محققین کی ایک ٹیم نے **METEOR: Mamba-based Traversal of Rationales** کے نام سے ایک بڑا ملٹی موڈل زبانی ماڈل پیش کیا<sup>[\[6\]](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_note-neurips_meteor_mamba-6)</sup>۔ یہ ماڈل بصری معلومات کی جامع سمجھ اور بصری سوالات کے جوابات دینے کے لیے بنایا گیا ہے۔

METEOR کی اہم خصوصیت تفصیلی **استدلال (rationales)** کا استعمال ہے۔ ماڈل صرف حتمی جواب نہیں دیتا، بلکہ ایک پوشیدہ «استدلال کی زنجیر» تیار کرتا اور اس پر انحصار کرتا ہے — یعنی یہ ایک تسلسل وار وضاحت ہوتی ہے کہ اس جواب تک کیسے پہنچا جائے، بالکل اسی طرح جیسے کوئی انسان سوچتا ہے۔

METEOR کے فن تعمیر میں **Mamba** ماڈل پر مبنی ایک خصوصی ماڈیول شامل ہے — جو بہت لمبی ترتیبوں کی پروسیسنگ کے لیے ایک موثر فن تعمیر ہے۔ یہ ماڈیول لمبی استدلالی زنجیریں encode کرتا ہے، جن میں تصویر میں اشیاء کی وضاحت، ان کے مکانی تعلقات اور مسئلہ حل کرنے کے مراحل شامل ہو سکتے ہیں<sup>[\[7\]](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_note-arxiv_meteor_mamba-7)</sup>۔

ماڈل کو MME، AI2D (خاکوں کی سمجھ) اور MathVista (بصری سیاق و سباق میں ریاضیاتی مسائل کا حل) جیسے مشکل ملٹی موڈل benchmark پر کامیابی سے آزمایا گیا۔ اس نے بہترین نتائج دکھائے، اور اس کے لیے کمپیوٹر وژن کے اضافی بیرونی ماڈیولز کی ضرورت نہیں پڑی، جو اپنے پیرامیٹرز کے موثر استعمال کی دلیل ہے<sup>[\[7\]](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_note-arxiv_meteor_mamba-7)</sup>۔

## حواشی

1.  <span id="cite_note-banerjee_2005-1">[↑](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_ref-banerjee_2005_1-0) Banerjee, S., and A. Lavie. «METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments». *ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT*, 2005. <a href="https://aclanthology.org/W05-0909/" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-lavie_2007-2">[↑](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_ref-lavie_2007_2-0) Lavie, A., and A. Agarwal. «METEOR: An Automatic Metric for MT Evaluation with High Levels of Correlation with Human Judgments». *ACL Workshop on Statistical Machine Translation*, 2007. <a href="https://link.springer.com/article/10.1007/s10590-009-9059-4" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-ds_dojo-3">[↑](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_ref-ds_dojo_3-0) «Evaluating Large Language Models: Powerful Insights Ahead». *DataScienceDojo*. <a href="https://datasciencedojo.com/blog/evaluating-large-language-models-llms/" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-meteor_evolutionary-4">[↑](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_ref-meteor_evolutionary_4-0) Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». *arXiv preprint arXiv:2411.11933*, 2024. <a href="https://arxiv.org/abs/2411.11933" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-meteor_evolutionary_ar5iv-5">[↑](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_ref-meteor_evolutionary_ar5iv_5-0) Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». *ar5iv.org*. <a href="https://ar5iv.org/html/2411.11933v2" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-neurips_meteor_mamba-6">[↑](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_ref-neurips_meteor_mamba_6-0) Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». *NeurIPS 2024 (poster)*. <a href="https://neurips.cc/virtual/2024/poster/95711" class="external autonumber" rel="nofollow">[6]</a></span>
7.  <span id="cite_note-arxiv_meteor_mamba-7">↑ <sup>[7.0](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_ref-arxiv_meteor_mamba_7-0)</sup> <sup>[7.1](https://systems-analysis.info/int/METEOR_(metric)_(UR)#cite_ref-arxiv_meteor_mamba_7-1)</sup> Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». *arXiv preprint arXiv:2405.15574*, 2024. <a href="https://arxiv.org/html/2405.15574v1" class="external autonumber" rel="nofollow">[7]</a></span>