METEOR (metric) (PL)
METEOR — jest to nazwa używana w dziedzinie przetwarzania języka naturalnego (NLP) dla kilku powiązanych, lecz różnych pojęć. Przede wszystkim jest to znana automatyczna metryka służąca do oceny jakości tłumaczenia maszynowego. Ponadto w 2024 roku pod tą samą nazwą zostały zaprezentowane dwa niezależne projekty badawcze związane z dużymi modelami językowymi (LLM): metoda ewolucyjnego uczenia oraz multimodalna model językowy.
METEOR jako metryka oceny jakości tłumaczenia
METEOR (skrót od Metric for Evaluation of Translation with Explicit ORdering) — to automatyczna metryka służąca do oceny jakości tłumaczenia maszynowego, zaproponowana w 2005 roku przez badaczy Uniwersytetu Carnegie Mellon: Satanjiva Banerjee i Alona Laviego[1]. Jej celem było zwiększenie zgodności automatycznych ocen z ocenami ludzkimi, szczególnie na poziomie pojedynczych zdań, poprzez wyeliminowanie pewnych niedoskonałości wcześniejszej metryki BLEU.
Kluczowe cechy metryki METEOR:
- Uwzględnienie precyzji i pełności: W odróżnieniu od BLEU, który koncentruje się wyłącznie na precyzji (precision), METEOR oblicza średnią harmoniczną między precyzją a pełnością (recall), co pozwala penalizować tłumaczenia za pomijanie istotnych słów.
- Elastyczne dopasowywanie słów: METEOR wykorzystuje cechy językowe do porównywania tłumaczenia z wzorcem. Uwzględnia nie tylko dokładne dopasowania, lecz także różne formy słów (za pomocą stemmingu) oraz synonimy (za pomocą WordNet).
- Kara za naruszenie kolejności słów: Do metryki wprowadzono karę penalizującą nieprawidłową kolejność słów w tłumaczeniu-kandydacie, nawet jeśli wszystkie słowa odpowiadają wzorcowi.
Ulepszenia te pozwalają metryce METEOR znacznie lepiej korelować z ocenami ludzkimi w porównaniu z BLEU[2]. Metryka jest szeroko stosowana w badaniach nad tłumaczeniem maszynowym, automatycznym streszczaniem oraz oceną opisów obrazów[3].
METEOR jako metoda ewolucyjnego uczenia LLM
W 2024 roku grupa chińskich badaczy przedstawiła metodę pod nazwą METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth[4]. Metoda ta przeznaczona jest do efektywnego uczenia LLM wyspecjalizowanych w wąskich dziedzinach tematycznych (np. finanse, medycyna), bez konieczności trenowania modelu od podstaw.
Autorzy opisują trzyfazowy schemat „ewolucji" LLM:
- Destylacja wiedzy od silnego modelu do słabego (weak-to-strong data distillation): Do generowania korpusu treningowego używany jest potężniejszy model-„nauczyciel" (np. GPT-4). Model domenowy najpierw generuje plan rozwiązania, a silny model tworzy odpowiedź zgodnie z tym planem. Wyrównuje to rozkład wiedzy i pozwala modelowi docelowemu efektywniej ją przyswoić.
- Iteracyjne uczenie z zewnętrzną informacją zwrotną (guided iterative training): Model wytrenowany na pierwszym etapie samodzielnie rozwiązuje zadania, a silny model pełni rolę „sędziego", oceniając odpowiedzi i wskazując błędy. Ten refleksyjny cykl rozwija u modelu domenowego zdolność do samokontroli.
- Samoewolucja (self-evolution): Model kontynuuje doskonalenie się bez zewnętrznego kuratora, wykorzystując zgromadzone umiejętności do generowania i korygowania nowych danych.
Metoda ta oferuje praktyczne podejście do tworzenia kompaktowych i ekonomicznych ekspertów LLM dla konkretnych branż[5].
METEOR jako multimodalny model LLM
Również w 2024 roku zespół badaczy z KAIST zaprezentował duży multimodalny model językowy pod nazwą METEOR: Mamba-based Traversal of Rationales[6]. Model przeznaczony jest do kompleksowego rozumienia informacji wizualnych oraz generowania odpowiedzi na pytania wizualne.
Kluczową cechą METEOR jest wykorzystanie rozbudowanych uzasadnień (rationales). Model nie generuje jedynie końcowej odpowiedzi, lecz tworzy i opiera się na ukrytym „łańcuchu rozumowania" — sekwencyjnym wyjaśnieniu, jak dojść do tej odpowiedzi, podobnie jak rozumowałby człowiek.
W architekturze METEOR zastosowano specjalny moduł oparty na modelu Mamba — efektywnej architekturze do przetwarzania bardzo długich sekwencji. Moduł ten koduje długie łańcuchy rozumowania, które mogą obejmować opis obiektów na obrazie, ich relacje przestrzenne oraz kroki potrzebne do rozwiązania zadania[7].
Model został z powodzeniem przetestowany na złożonych multimodalnych benchmarkach, takich jak MME, AI2D (rozumienie diagramów) i MathVista (rozwiązywanie zadań matematycznych w kontekście wizualnym). Osiągnął wysokie wyniki, nie wymagając przy tym dodatkowych zewnętrznych modułów widzenia komputerowego, co świadczy o efektywnym wykorzystaniu własnych parametrów[7].
Przypisy
- ↑ Banerjee, S., and A. Lavie. «METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments». ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT, 2005. [1]
- ↑ Lavie, A., and A. Agarwal. «METEOR: An Automatic Metric for MT Evaluation with High Levels of Correlation with Human Judgments». ACL Workshop on Statistical Machine Translation, 2007. [2]
- ↑ «Evaluating Large Language Models: Powerful Insights Ahead». DataScienceDojo. [3]
- ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». arXiv preprint arXiv:2411.11933, 2024. [4]
- ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». ar5iv.org. [5]
- ↑ Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». NeurIPS 2024 (poster). [6]
- ↑ 7.0 7.1 Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». arXiv preprint arXiv:2405.15574, 2024. [7]