--- title: "METEOR (metric) (KO)" source: "https://systems-analysis.info/int/METEOR_(metric)_(KO)" wiki: "systems-analysis.info/int" article: "METEOR_(metric)_(KO)" language: "ko" categories: - "Category:Korean" - "Category:Large language models" - "Category:LLM evaluation" - "Category:Machine learning" revision_id: 4026 wiki_created_at: 2026-09-06T23:29:26Z wiki_modified_at: 2026-09-06T23:29:26Z downloaded_at: 2026-09-07T23:00:25Z --- # METEOR (metric) (KO) **METEOR** — 자연어 처리(NLP) 분야에서 서로 연관되어 있으나 각기 다른 여러 개념을 가리키는 명칭이다. 우선, 기계 번역 품질 평가를 위한 잘 알려진 자동 평가 지표이다. 또한 2024년에는 동일한 명칭으로 대형 언어 모델(LLM)과 관련된 두 개의 독립적인 연구 프로젝트가 발표되었다: 진화적 학습 방법과 멀티모달 언어 모델이 그것이다. ## METEOR - 번역 품질 평가 지표 **METEOR** (*Metric for Evaluation of Translation with Explicit ORdering*의 약자) — 2005년 카네기멜론 대학교 연구자인 사탄지브 바네르지(Satanjeev Banerjee)와 알론 라비(Alon Lavie)가 제안한 기계 번역 품질 자동 평가 지표이다^{[\[1\]](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_note-banerjee_2005-1)}. 이 지표의 목적은 자동 평가와 인간의 판단 간의 일치도를 높이는 것으로, 특히 개별 문장 수준에서 기존 BLEU 지표의 일부 단점을 보완하고자 했다. METEOR 지표의 주요 특징: - **정밀도와 재현율 고려**: 정밀도(precision)만을 기준으로 하는 BLEU와 달리, METEOR는 정밀도와 재현율(recall)의 조화 평균을 계산하여 중요한 단어가 누락된 번역에 대해 불이익을 줄 수 있다. - **유연한 단어 매칭**: METEOR는 번역문과 참조문을 대조할 때 언어적 특성을 활용한다. 정확한 일치뿐만 아니라 어간 분석(stemming)을 통한 다양한 단어 형태 및 WordNet을 이용한 동의어도 고려한다. - **어순 위반 패널티**: 번역 후보의 어순이 잘못된 경우, 모든 단어가 참조문과 일치하더라도 불이익을 주는 패널티가 지표에 도입되어 있다. 이러한 개선 덕분에 METEOR는 BLEU에 비해 인간의 평가와 훨씬 높은 상관관계를 보인다^{[\[2\]](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_note-lavie_2007-2)}. 이 지표는 기계 번역, 자동 요약 연구 및 이미지 캡션 평가에 널리 활용된다^{[\[3\]](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_note-ds_dojo-3)}. ## METEOR - LLM 진화적 학습 방법 2024년, 중국 연구자 그룹은 **METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth**라는 이름의 방법을 발표했다^{[\[4\]](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_note-meteor_evolutionary-4)}. 이 방법은 처음부터 모델을 학습시킬 필요 없이, 특정 전문 도메인(예: 금융, 의학)에 특화된 LLM을 효율적으로 학습시키기 위한 것이다. 저자들은 LLM의 '진화'를 위한 3단계 체계를 설명한다: 1. **강한 모델에서 약한 모델로의 지식 증류(weak-to-strong data distillation)**: 학습 코퍼스 생성을 위해 더 강력한 '교사' 모델(예: GPT-4)을 활용한다. 이때 도메인 모델이 먼저 해결 계획을 생성하고, 강한 모델이 그 계획에 따라 답변을 작성한다. 이를 통해 지식 분포를 균형 있게 조정하고 대상 모델이 보다 효과적으로 지식을 습득할 수 있게 한다. 2. **외부 피드백을 활용한 반복 학습(guided iterative training)**: 1단계에서 학습된 모델이 스스로 문제를 풀고, 강한 모델이 '심판' 역할을 하여 답변을 평가하고 오류를 지적한다. 이 반성적 순환 과정을 통해 도메인 모델은 자가 검증 능력을 키운다. 3. **자기 진화(self-evolution)**: 모델이 외부 감독자 없이 축적된 능력을 활용해 새로운 데이터를 생성하고 수정하며 계속 발전한다. 이 방법은 특정 산업을 위한 소형·경량 LLM 전문가를 구축하는 실용적인 접근 방식을 제시한다^{[\[5\]](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_note-meteor_evolutionary_ar5iv-5)}. ## METEOR - 멀티모달 LLM 모델 마찬가지로 2024년, KAIST 연구팀은 **METEOR: Mamba-based Traversal of Rationales**라는 이름의 대형 멀티모달 언어 모델을 발표했다^{[\[6\]](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_note-neurips_meteor_mamba-6)}. 이 모델은 시각 정보에 대한 종합적인 이해와 시각적 질문에 대한 답변 생성을 목적으로 한다. METEOR의 핵심 특징은 상세한 **추론(rationales)** 활용이다. 모델은 단순히 최종 답변만 출력하는 것이 아니라, 숨겨진 '추론 체계'를 생성하고 이에 의존한다. 이는 해당 답변에 도달하는 방법을 순차적으로 설명하는 것으로, 인간이 추론하는 방식과 유사하다. METEOR의 아키텍처에는 매우 긴 시퀀스 처리에 효율적인 아키텍처인 **Mamba** 모델 기반의 특수 모듈이 활용된다. 이 모듈은 이미지 내 객체 묘사, 공간적 관계, 문제 해결 단계를 포함할 수 있는 긴 추론 체계를 인코딩한다^{[\[7\]](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_note-arxiv_meteor_mamba-7)}. 이 모델은 MME, AI2D(다이어그램 이해), MathVista(시각적 맥락에서의 수학 문제 풀기)와 같은 복잡한 멀티모달 benchmark에서 성공적으로 검증되었다. 추가적인 외부 컴퓨터 비전 모듈 없이도 높은 결과를 달성하여 자체 파라미터의 효율적인 활용을 입증했다^{[\[7\]](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_note-arxiv_meteor_mamba-7)}. ## 각주 1. [↑](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_ref-banerjee_2005_1-0) Banerjee, S., and A. Lavie. «METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments». *ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT*, 2005. [1] 2. [↑](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_ref-lavie_2007_2-0) Lavie, A., and A. Agarwal. «METEOR: An Automatic Metric for MT Evaluation with High Levels of Correlation with Human Judgments». *ACL Workshop on Statistical Machine Translation*, 2007. [2] 3. [↑](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_ref-ds_dojo_3-0) «Evaluating Large Language Models: Powerful Insights Ahead». *DataScienceDojo*. [3] 4. [↑](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_ref-meteor_evolutionary_4-0) Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». *arXiv preprint arXiv:2411.11933*, 2024. [4] 5. [↑](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_ref-meteor_evolutionary_ar5iv_5-0) Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». *ar5iv.org*. [5] 6. [↑](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_ref-neurips_meteor_mamba_6-0) Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». *NeurIPS 2024 (poster)*. [6] 7. ↑ ^{[7.0](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_ref-arxiv_meteor_mamba_7-0)} ^{[7.1](https://systems-analysis.info/int/METEOR_(metric)_(KO)#cite_ref-arxiv_meteor_mamba_7-1)} Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». *arXiv preprint arXiv:2405.15574*, 2024. [7]