METEOR (metric) (TL)
METEOR — ito ang pangalang ginagamit sa larangan ng natural language processing (NLP) para sa ilang magkakaugnay ngunit magkakaibang konsepto. Una sa lahat, ito ay isang kilalang awtomatikong sukatan para sa pagtatasa ng kalidad ng machine translation. Bukod dito, noong 2024, dalawang independiyenteng proyektong pananaliksik na may kaugnayan sa malalaking language model (LLM) ang ipinakita sa ilalim ng parehong pangalan: isang paraan ng evolutionary na pagsasanay at isang multimodal na language model.
METEOR bilang sukatan ng pagtatasa ng kalidad ng pagsasalin
METEOR (mula sa Metric for Evaluation of Translation with Explicit ORdering) — ito ay isang awtomatikong sukatan para sa pagtatasa ng kalidad ng machine translation, na iminungkahi noong 2005 ng mga mananaliksik ng Carnegie Mellon University na sina Satanjeev Banerjee at Alon Lavie[1]. Ang layunin nito ay mapalakas ang pagkakatugma ng mga awtomatikong pagtatasa sa mga hatol ng tao, lalo na sa antas ng mga indibidwal na pangungusap, sa pamamagitan ng pag-aalis ng ilang kakulangan ng naunang sukatan na BLEU.
Mga pangunahing katangian ng sukatan ng METEOR:
- Pagsasaalang-alang ng precision at recall: Hindi tulad ng BLEU, na nakatuon lamang sa precision, kinakalkula ng METEOR ang harmonic mean sa pagitan ng precision at recall, na nagbibigay-parusa sa mga pagsasalin para sa pagkawala ng mahahalagang salita.
- Nababaluktot na pagtatambal ng mga salita: Gumagamit ang METEOR ng mga katangiang pangwika para sa pagtatambal ng pagsasalin sa sanggunian. Isinasaalang-alang nito hindi lamang ang eksaktong mga tugma, kundi pati na rin ang iba't ibang anyo ng mga salita (sa pamamagitan ng stemming) at mga kasingkahulugan (sa pamamagitan ng WordNet).
- Parusa sa paglabag ng pagkakasunud-sunod ng mga salita: Isinasama sa sukatan ang isang parusa na nagpaparusa sa maling pagkakasunud-sunod ng mga salita sa kandidatong pagsasalin, kahit na tumutugma ang lahat ng salita sa sanggunian.
Ang mga pagpapabuting ito ay nagbibigay-daan sa sukatan ng METEOR na mas mahusay na mag-ugnay sa mga pagtatasa ng tao kumpara sa BLEU[2]. Ang sukatan ay malawakang ginagamit sa pananaliksik ng machine translation, awtomatikong pagbubuod, at pagtatasa ng mga caption ng larawan[3].
METEOR bilang paraan ng evolutionary na pagsasanay ng LLM
Noong 2024, isang pangkat ng mga mananaliksik mula sa Tsina ang nagpakita ng pamamaraan sa ilalim ng pangalang METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth[4]. Ang pamamaraang ito ay inilaan para sa epektibong pagsasanay ng mga LLM na espesyalista sa makitid na mga larangang paksa (halimbawa, pananalapi, medisina), nang hindi na kailangang sanayin ang modelo mula sa simula.
Inilarawan ng mga may-akda ang isang tatlong-yugto na pamamaraan ng "ebolusyon" ng LLM:
- Pagdistila ng kaalaman mula sa malakas na modelo patungo sa mahina (weak-to-strong data distillation): Para sa pagbuo ng corpus ng pagsasanay, ginagamit ang mas makapangyarihang modelong "guro" (halimbawa, GPT-4). Sa kasong ito, ang domain na modelo ay unang bumubuo ng plano ng solusyon, at ang malakas na modelo ay lumilikha ng sagot ayon sa planong iyon. Inaayos nito ang distribusyon ng kaalaman at nagbibigay-daan sa target na modelo na mas epektibong matuto mula sa mga ito.
- Iteratibong pagsasanay na may panlabas na feedback (guided iterative training): Ang modelong sinanay sa unang yugto ay nagsasariling naglulutas ng mga gawain, habang ang malakas na modelo ay gumaganap bilang "referee", sinusuri ang mga sagot at itinuturo ang mga pagkakamali. Ang reflective na ikot na ito ay nagpapaunlad sa domain na modelo ng kakayahang magsuri sa sarili.
- Sariling ebolusyon (self-evolution): Patuloy na nagpapabuti ang modelo nang walang panlabas na tagapangasiwa, gamit ang mga naipong kasanayan para sa pagbuo at pagwawasto ng bagong datos.
Ang pamamaraang ito ay nag-aalok ng praktikal na diskarte sa paglikha ng mga kompaktong at matipid na LLM na eksperto para sa mga partikular na industriya[5].
METEOR bilang multimodal na modelo ng LLM
Ganon din noong 2024, isang pangkat ng mga mananaliksik mula sa KAIST ang nagpakita ng malaking multimodal na language model sa ilalim ng pangalang METEOR: Mamba-based Traversal of Rationales[6]. Ang modelo ay inilaan para sa komprehensibong pag-unawa sa visual na impormasyon at pagbuo ng mga sagot sa mga visual na tanong.
Ang pangunahing katangian ng METEOR ay ang paggamit ng mga detalyadong rationale. Hindi lamang nagbibigay ang modelo ng panghuling sagot, kundi bumubuo rin ito at umaasa sa nakatagong "chain of thought" — isang sunud-sunod na paliwanag kung paano makararating sa sagot na iyon, katulad ng pangangatuwiran ng isang tao.
Sa arkitektura ng METEOR, ginagamit ang isang espesyal na module batay sa modelong Mamba — isang epektibong arkitektura para sa pagpoproseso ng napakahabang mga sequence. Ini-encode ng module na ito ang mahahabang chain ng rationale, na maaaring magsama ng paglalarawan ng mga bagay sa larawan, ang kanilang mga spatial na relasyon, at mga hakbang para sa paglutas ng gawain[7].
Matagumpay na nasubukan ang modelo sa mga kumplikadong multimodal na benchmark, tulad ng MME, AI2D (pag-unawa sa diagram) at MathVista (paglutas ng mga gawaing matematikal sa visual na konteksto). Nagpakita ito ng mataas na mga resulta nang hindi nangangailangan ng karagdagang panlabas na mga module ng computer vision, na nagpapakita ng epektibong paggamit ng sariling mga parameter[7].
Mga Tala
- ↑ Banerjee, S., and A. Lavie. «METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments». ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT, 2005. [1]
- ↑ Lavie, A., and A. Agarwal. «METEOR: An Automatic Metric for MT Evaluation with High Levels of Correlation with Human Judgments». ACL Workshop on Statistical Machine Translation, 2007. [2]
- ↑ «Evaluating Large Language Models: Powerful Insights Ahead». DataScienceDojo. [3]
- ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». arXiv preprint arXiv:2411.11933, 2024. [4]
- ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». ar5iv.org. [5]
- ↑ Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». NeurIPS 2024 (poster). [6]
- ↑ 7.0 7.1 Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». arXiv preprint arXiv:2405.15574, 2024. [7]