--- title: "METEOR (Metrik)" source: "https://systems-analysis.info/int/METEOR_(Metrik)" wiki: "systems-analysis.info/int" article: "METEOR_(Metrik)" language: "de" categories: - "Category:German" - "Category:Large language models" - "Category:LLM evaluation" - "Category:Machine learning" revision_id: 4014 wiki_created_at: 2026-09-06T23:29:15Z wiki_modified_at: 2026-09-06T23:29:15Z downloaded_at: 2026-09-07T23:00:21Z --- # METEOR (Metrik) **METEOR** ist ein Name, der im Bereich der Verarbeitung natürlicher Sprache (NLP) für mehrere verwandte, aber unterschiedliche Konzepte verwendet wird. In erster Linie ist es eine bekannte automatische Metrik zur Bewertung der Qualität maschineller Übersetzungen. Darüber hinaus wurden im Jahr 2024 unter demselben Namen zwei unabhängige Forschungsprojekte im Zusammenhang mit [großen Sprachmodellen (LLMs)](https://systems-analysis.info/int/Gro%C3%9Fe_Sprachmodelle "Große Sprachmodelle") vorgestellt: eine Methode für evolutionäres Training und ein multimodales Sprachmodell. ## METEOR als Metrik zur Bewertung der Übersetzungsqualität **METEOR** (Abkürzung für *Metric for Evaluation of Translation with Explicit ORdering*) ist eine automatische Metrik zur Bewertung der Qualität maschineller Übersetzungen, die 2005 von den Forschern Satanjeev Banerjee und Alon Lavie von der Carnegie Mellon University vorgeschlagen wurde^{[\[1\]](https://systems-analysis.info/int/METEOR_(Metrik)#cite_note-banerjee_2005-1)}. Ihr Ziel war es, die Übereinstimmung automatischer Bewertungen mit menschlichen Urteilen zu verbessern, insbesondere auf Satzebene, und dabei einige Schwächen der früheren Metrik BLEU zu beheben. Wesentliche Merkmale der METEOR-Metrik: - **Berücksichtigung von Präzision und Recall**: Im Gegensatz zu BLEU, das nur auf Präzision (precision) ausgerichtet ist, berechnet METEOR das harmonische Mittel aus Präzision und Recall, wodurch Übersetzungen für das Auslassen wichtiger Wörter bestraft werden können. - **Flexibler Wortabgleich**: METEOR nutzt linguistische Merkmale, um die Übersetzung mit der Referenz abzugleichen. Es berücksichtigt nicht nur exakte Übereinstimmungen, sondern auch verschiedene Wortformen (mithilfe von Stemming) und Synonyme (mithilfe von WordNet). - **Strafe für Wortstellungsfehler**: Die Metrik beinhaltet eine Strafe, die eine falsche Wortstellung in der Kandidatenübersetzung ahndet, selbst wenn alle Wörter mit der Referenz übereinstimmen. Diese Verbesserungen ermöglichen es der METEOR-Metrik, im Vergleich zu BLEU deutlich besser mit menschlichen Bewertungen zu korrelieren^{[\[2\]](https://systems-analysis.info/int/METEOR_(Metrik)#cite_note-lavie_2007-2)}. Die Metrik wird häufig in der Forschung zur maschinellen Übersetzung, zur automatischen Zusammenfassung und zur Bewertung von Bildunterschriften eingesetzt^{[\[3\]](https://systems-analysis.info/int/METEOR_(Metrik)#cite_note-ds_dojo-3)}. ## METEOR als Methode für das evolutionäre Training von LLMs Im Jahr 2024 stellte eine Gruppe chinesischer Forscher eine Methode namens **METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth** vor^{[\[4\]](https://systems-analysis.info/int/METEOR_(Metrik)#cite_note-meteor_evolutionary-4)}. Diese Methode dient dem effizienten Training von LLMs, die auf enge Fachgebiete (z. B. Finanzen, Medizin) spezialisiert sind, ohne dass das Modell von Grund auf neu trainiert werden muss. Die Autoren beschreiben ein dreiphasiges Schema der LLM-„Evolution“: 1. **Wissensdestillation von einem starken zu einem schwachen Modell (weak-to-strong data distillation)**: Zur Generierung des Trainingsdatensatzes wird ein leistungsfähigeres „Lehrer“-Modell (z. B. GPT-4) verwendet. Dabei generiert das Domänenmodell zunächst einen Lösungsplan, und das starke Modell erstellt die Antwort gemäß diesem Plan. Dies gleicht die Wissensverteilung an und ermöglicht es dem Zielmodell, das Wissen effizienter zu verinnerlichen. 2. **Iteratives Training mit externem Feedback (guided iterative training)**: Das in der ersten Phase trainierte Modell löst selbstständig Aufgaben, während das starke Modell als „Schiedsrichter“ fungiert, der die Antworten bewertet und auf Fehler hinweist. Dieser reflexive Zyklus entwickelt die Fähigkeit des Domänenmodells zur Selbstkorrektur. 3. **Selbstevolution (self-evolution)**: Das Modell verbessert sich ohne externen Betreuer weiter, indem es seine erworbenen Fähigkeiten zur Generierung und Korrektur neuer Daten nutzt. Diese Methode bietet einen praktischen Ansatz zur Erstellung kompakter und kosteneffizienter LLM-Experten für bestimmte Branchen^{[\[5\]](https://systems-analysis.info/int/METEOR_(Metrik)#cite_note-meteor_evolutionary_ar5iv-5)}. ## METEOR als multimodales LLM-Modell Ebenfalls im Jahr 2024 stellte ein Forschungsteam des KAIST ein großes multimodales Sprachmodell namens **METEOR: Mamba-based Traversal of Rationales** vor^{[\[6\]](https://systems-analysis.info/int/METEOR_(Metrik)#cite_note-neurips_meteor_mamba-6)}. Das Modell ist für das umfassende Verständnis visueller Informationen und die Generierung von Antworten auf visuelle Fragen konzipiert. Ein Hauptmerkmal von METEOR ist die Verwendung von ausführlichen **Begründungen (rationales)**. Das Modell gibt nicht nur die endgültige Antwort aus, sondern generiert und stützt sich auf eine verborgene „Argumentationskette“ – eine schrittweise Erklärung, wie man zu dieser Antwort gelangt, ähnlich der menschlichen Denkweise. In der Architektur von METEOR kommt ein spezielles Modul zum Einsatz, das auf dem **Mamba**-Modell basiert – einer effizienten Architektur zur Verarbeitung sehr langer Sequenzen. Dieses Modul kodiert lange Argumentationsketten, die Beschreibungen von Objekten im Bild, ihre räumlichen Beziehungen und die Schritte zur Lösung der Aufgabe umfassen können^{[\[7\]](https://systems-analysis.info/int/METEOR_(Metrik)#cite_note-arxiv_meteor_mamba-7)}. Das Modell wurde erfolgreich auf komplexen multimodalen Benchmarks wie MME, AI2D (Diagrammverständnis) und MathVista (Lösung mathematischer Probleme im visuellen Kontext) getestet. Es erzielte hohe Ergebnisse, ohne zusätzliche externe Computer-Vision-Module zu benötigen, was auf eine effiziente Nutzung der eigenen Parameter hindeutet^{[\[7\]](https://systems-analysis.info/int/METEOR_(Metrik)#cite_note-arxiv_meteor_mamba-7)}. ## Einzelnachweise 1. [↑](https://systems-analysis.info/int/METEOR_(Metrik)#cite_ref-banerjee_2005_1-0) Banerjee, S., and A. Lavie. «METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments». *ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT*, 2005. [1] 2. [↑](https://systems-analysis.info/int/METEOR_(Metrik)#cite_ref-lavie_2007_2-0) Lavie, A., and A. Agarwal. «METEOR: An Automatic Metric for MT Evaluation with High Levels of Correlation with Human Judgments». *ACL Workshop on Statistical Machine Translation*, 2007. [2] 3. [↑](https://systems-analysis.info/int/METEOR_(Metrik)#cite_ref-ds_dojo_3-0) «Evaluating Large Language Models: Powerful Insights Ahead». *DataScienceDojo*. [3] 4. [↑](https://systems-analysis.info/int/METEOR_(Metrik)#cite_ref-meteor_evolutionary_4-0) Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». *arXiv preprint arXiv:2411.11933*, 2024. [4] 5. [↑](https://systems-analysis.info/int/METEOR_(Metrik)#cite_ref-meteor_evolutionary_ar5iv_5-0) Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». *ar5iv.org*. [5] 6. [↑](https://systems-analysis.info/int/METEOR_(Metrik)#cite_ref-neurips_meteor_mamba_6-0) Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». *NeurIPS 2024 (poster)*. [6] 7. ↑ ^{[7.0](https://systems-analysis.info/int/METEOR_(Metrik)#cite_ref-arxiv_meteor_mamba_7-0)} ^{[7.1](https://systems-analysis.info/int/METEOR_(Metrik)#cite_ref-arxiv_meteor_mamba_7-1)} Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». *arXiv preprint arXiv:2405.15574*, 2024. [7]