--- title: "METEOR (metric) — 术语解析" source: "https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90" wiki: "systems-analysis.info/int" article: "METEOR_(metric)_—_术语解析" language: "zh" categories: - "Category:Chinese" - "Category:Large language models" - "Category:LLM evaluation" - "Category:Machine learning" - "Category:Systems analysis terminology" revision_id: 4039 wiki_created_at: 2026-09-06T23:29:37Z wiki_modified_at: 2026-09-06T23:29:37Z downloaded_at: 2026-09-07T23:00:30Z --- # METEOR (metric) — 术语解析 **METEOR** 是一个在自然语言处理（NLP）领域中用于指代几个相关但不同概念的名称。首先，它是一个著名的用于评估机器翻译质量的自动评估指标。此外，在2024年，有两个与大型语言模型（LLM）相关的独立研究项目也以此为名：一种进化学习方法和一种多模态语言模型。 ## 作为翻译质量评估指标的METEOR **METEOR**（*Metric for Evaluation of Translation with Explicit ORdering* 的缩写）是一种用于评估机器翻译质量的自动指标，由卡内基梅隆大学的研究员Satanjeev Banerjee和Alon Lavie于2005年提出^{[\[1\]](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_note-banerjee_2005-1)}。其目标是通过解决早期指标BLEU的一些缺点，来提高自动评估与人类判断之间的一致性，尤其是在单个句子层面上。 METEOR指标的主要特点： - **同时考虑精确率和召回率**：与只关注精确率（precision）的BLEU不同，METEOR计算精确率和召回率（recall）的调和平均数，这使得它能够对漏掉重要单词的翻译进行惩罚。 - **灵活的词语匹配**：METEOR利用语言学特征将翻译与参考译文进行匹配。它不仅考虑精确匹配，还考虑单词的不同形式（通过词干提取）和同义词（通过WordNet）。 - **对词序错误的惩罚**：该指标引入了一种惩罚机制，即使候选译文中的所有单词都与参考译文匹配，但如果词序不正确，也会受到惩罚。这些改进使得METEOR指标与人类评估的相关性显著优于BLEU^{[\[2\]](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_note-lavie_2007-2)}。该指标广泛应用于机器翻译、自动摘要和图像字幕评估等研究领域^{[\[3\]](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_note-ds_dojo-3)}。 ## 作为LLM进化学习方法的METEOR 2024年，一组中国研究人员提出了一种名为**METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth**的方法^{[\[4\]](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_note-meteor_evolutionary-4)}。该方法旨在高效地训练专精于特定领域（如金融、医疗）的LLM，而无需从头开始训练模型。作者描述了一个LLM“进化”的三阶段框架： 1. **从强模型到弱模型的数据蒸馏（weak-to-strong data distillation）**：使用一个更强大的“教师”模型（如GPT-4）来生成训练语料库。在此过程中，领域模型首先生成解决方案的计划，然后强模型遵循该计划创建答案。这可以平衡知识分布，使目标模型能够更有效地吸收知识。 2. **带外部反馈的迭代训练（guided iterative training）**：在第一阶段训练出的模型独立解决任务，而强模型则扮演“裁判”的角色，评估答案并指出错误。这个反思循环可以培养领域模型的自我检查能力。 3. **自我进化（self-evolution）**：模型在没有外部监督者的情况下继续自我提升，利用已掌握的技能生成和修正新数据。该方法为创建特定行业的紧凑且经济高效的LLM专家提供了一种实用途径^{[\[5\]](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_note-meteor_evolutionary_ar5iv-5)}。 ## 作为多模态LLM的METEOR 同样在2024年，来自韩国科学技术院（KAIST）的一个研究团队推出了一款名为**METEOR: Mamba-based Traversal of Rationales**的大型多模态语言模型^{[\[6\]](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_note-neurips_meteor_mamba-6)}。该模型旨在全面理解视觉信息并生成对视觉问题的回答。 METEOR的一个关键特点是使用详细的**推理过程（rationales）**。该模型不只是给出最终答案，而是生成并依赖于一个隐藏的“推理链”——即对如何得出答案的逐步解释，类似于人类的推理方式。 METEOR的架构中包含一个基于**Mamba**模型的特殊模块，Mamba是一种能高效处理超长序列的架构。该模块负责编码长推理链，这些推理链可能包括对图像中物体的描述、它们的空间关系以及解决任务的步骤^{[\[7\]](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_note-arxiv_meteor_mamba-7)}。该模型已在复杂的的多模态基准测试（如MME、AI2D（图表理解）和MathVista（视觉环境下的数学问题求解））上成功通过测试。它取得了优异的成绩，且无需额外的外部计算机视觉模块，这表明它高效地利用了自身的参数^{[\[7\]](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_note-arxiv_meteor_mamba-7)}。 ## 注释 1. [↑](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_ref-banerjee_2005_1-0) Banerjee, S., and A. Lavie. «METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments». *ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT*, 2005. [1] 2. [↑](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_ref-lavie_2007_2-0) Lavie, A., and A. Agarwal. «METEOR: An Automatic Metric for MT Evaluation with High Levels of Correlation with Human Judgments». *ACL Workshop on Statistical Machine Translation*, 2007. [2] 3. [↑](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_ref-ds_dojo_3-0) «Evaluating Large Language Models: Powerful Insights Ahead». *DataScienceDojo*. [3] 4. [↑](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_ref-meteor_evolutionary_4-0) Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». *arXiv preprint arXiv:2411.11933*, 2024. [4] 5. [↑](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_ref-meteor_evolutionary_ar5iv_5-0) Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». *ar5iv.org*. [5] 6. [↑](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_ref-neurips_meteor_mamba_6-0) Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». *NeurIPS 2024 (poster)*. [6] 7. ↑ ^{[7.0](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_ref-arxiv_meteor_mamba_7-0)} ^{[7.1](https://systems-analysis.info/int/METEOR_(metric)_%E2%80%94_%E6%9C%AF%E8%AF%AD%E8%A7%A3%E6%9E%90#cite_ref-arxiv_meteor_mamba_7-1)} Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». *arXiv preprint arXiv:2405.15574*, 2024. [7]