METEOR (metric) (BN)
METEOR — এটি প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) ক্ষেত্রে ব্যবহৃত একটি নাম, যা পরস্পর সম্পর্কিত কিন্তু স্বতন্ত্র কয়েকটি ধারণাকে বোঝায়। সর্বপ্রথম, এটি মেশিন অনুবাদের মান মূল্যায়নের জন্য একটি সুপরিচিত স্বয়ংক্রিয় মেট্রিক। এছাড়াও, ২০২৪ সালে একই নামে বৃহৎ ভাষা মডেল (LLM)-সংক্রান্ত দুটি স্বাধীন গবেষণা প্রকল্প উপস্থাপিত হয়: একটি বিবর্তনীয় প্রশিক্ষণ পদ্ধতি এবং একটি মাল্টিমোডাল ভাষা মডেল।
METEOR - অনুবাদ মান মূল্যায়নের মেট্রিক
METEOR (সংক্ষেপে Metric for Evaluation of Translation with Explicit ORdering) — এটি মেশিন অনুবাদের মান মূল্যায়নের জন্য একটি স্বয়ংক্রিয় মেট্রিক, যা ২০০৫ সালে কার্নেগি মেলন বিশ্ববিদ্যালয়ের গবেষক সতনজীব ব্যানার্জি ও অ্যালন লাভি কর্তৃক প্রস্তাবিত হয়েছিল[1]। এর লক্ষ্য ছিল স্বয়ংক্রিয় মূল্যায়নের সাথে মানবিক বিচারের সামঞ্জস্য বৃদ্ধি করা, বিশেষত পৃথক বাক্যের স্তরে, এবং পূর্ববর্তী BLEU মেট্রিকের কিছু দুর্বলতা দূর করা।
METEOR মেট্রিকের মূল বৈশিষ্ট্যসমূহ:
- নির্ভুলতা ও পূর্ণতার বিবেচনা: BLEU যেখানে কেবল নির্ভুলতা (precision)-এর উপর নির্ভর করে, সেখানে METEOR নির্ভুলতা ও পূর্ণতার (recall) মধ্যে হারমোনিক গড় নির্ণয় করে, যা গুরুত্বপূর্ণ শব্দ বাদ পড়লে অনুবাদকে শাস্তি দেওয়ার সুযোগ দেয়।
- নমনীয় শব্দ মিলকরণ: METEOR অনুবাদের সাথে রেফারেন্সের তুলনায় ভাষাগত বৈশিষ্ট্য ব্যবহার করে। এটি কেবল হুবহু মিল নয়, বরং শব্দের বিভিন্ন রূপ (stemming-এর মাধ্যমে) এবং প্রতিশব্দও (WordNet-এর মাধ্যমে) বিবেচনায় নেয়।
- শব্দ ক্রম লঙ্ঘনের জরিমানা: মেট্রিকে একটি জরিমানা অন্তর্ভুক্ত করা হয়েছে, যা প্রার্থী অনুবাদে ভুল শব্দ ক্রমের জন্য শাস্তি দেয়, এমনকি সমস্ত শব্দ রেফারেন্সের সাথে মিলে গেলেও।
এই উন্নতিগুলো METEOR মেট্রিককে BLEU-এর তুলনায় মানুষের মূল্যায়নের সাথে উল্লেখযোগ্যভাবে বেশি সম্পর্কযুক্ত করে তোলে[2]। মেট্রিকটি মেশিন অনুবাদ, স্বয়ংক্রিয় সারসংক্ষেপ এবং চিত্রের ক্যাপশন মূল্যায়ন গবেষণায় ব্যাপকভাবে ব্যবহৃত হয়[3]।
METEOR - LLM-এর বিবর্তনীয় প্রশিক্ষণ পদ্ধতি
২০২৪ সালে একদল চীনা গবেষক METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth নামে একটি পদ্ধতি উপস্থাপন করেন[4]। এই পদ্ধতিটি সংকীর্ণ বিষয়ভিত্তিক ডোমেনে (যেমন অর্থ, চিকিৎসা) বিশেষজ্ঞ LLM-কে শুরু থেকে প্রশিক্ষণ দেওয়ার প্রয়োজন ছাড়াই দক্ষতার সাথে তৈরি করার উদ্দেশ্যে ডিজাইন করা হয়েছে।
লেখকরা LLM-এর "বিবর্তনের" তিন-পর্যায়ের একটি পরিকল্পনা বর্ণনা করেছেন:
- দুর্বল থেকে শক্তিশালী মডেলে জ্ঞান পাতন (weak-to-strong data distillation): প্রশিক্ষণ কর্পাস তৈরিতে আরও শক্তিশালী একটি "শিক্ষক" মডেল (যেমন GPT-4) ব্যবহার করা হয়। এতে ডোমেন মডেল প্রথমে সমাধানের পরিকল্পনা তৈরি করে, এবং শক্তিশালী মডেল সেই পরিকল্পনা অনুসরণ করে উত্তর তৈরি করে। এটি জ্ঞানের বিতরণ সমান করে এবং লক্ষ্য মডেলকে আরও কার্যকরভাবে তা আত্মস্থ করতে সাহায্য করে।
- বাহ্যিক প্রতিক্রিয়াসহ পুনরাবৃত্তিমূলক প্রশিক্ষণ (guided iterative training): প্রথম পর্যায়ে প্রশিক্ষিত মডেল স্বাধীনভাবে সমস্যা সমাধান করে, এবং শক্তিশালী মডেল "রেফারি" হিসেবে উত্তর মূল্যায়ন করে ও ত্রুটি নির্দেশ করে। এই প্রতিফলনমূলক চক্র ডোমেন মডেলে আত্ম-যাচাইয়ের ক্ষমতা গড়ে তোলে।
- স্ব-বিবর্তন (self-evolution): মডেলটি বাহ্যিক তত্ত্বাবধায়ক ছাড়াই উন্নতি অব্যাহত রাখে, নতুন ডেটা তৈরি ও সংশোধনে অর্জিত দক্ষতা ব্যবহার করে।
এই পদ্ধতিটি নির্দিষ্ট শিল্পের জন্য সংক্ষিপ্ত ও সাশ্রয়ী LLM বিশেষজ্ঞ তৈরির একটি ব্যবহারিক পদ্ধতি প্রদান করে[5]।
METEOR - মাল্টিমোডাল LLM মডেল
এছাড়াও ২০২৪ সালে KAIST-এর একদল গবেষক METEOR: Mamba-based Traversal of Rationales নামে একটি বৃহৎ মাল্টিমোডাল ভাষা মডেল উপস্থাপন করেন[6]। মডেলটি ভিজ্যুয়াল তথ্যের সামগ্রিক বোঝাপড়া এবং ভিজ্যুয়াল প্রশ্নের উত্তর তৈরির উদ্দেশ্যে ডিজাইন করা হয়েছে।
METEOR-এর মূল বৈশিষ্ট্য হল বিস্তারিত যুক্তিতর্ক (rationales) ব্যবহার। মডেলটি কেবল চূড়ান্ত উত্তর দেয় না, বরং একটি সুপ্ত "যুক্তির শৃঙ্খল" তৈরি করে এবং তার উপর নির্ভর করে — অর্থাৎ একটি ধারাবাহিক ব্যাখ্যা যে কীভাবে সেই উত্তরে পৌঁছানো যায়, ঠিক যেভাবে একজন মানুষ যুক্তি করত।
METEOR-এর আর্কিটেকচারে Mamba মডেলের উপর ভিত্তি করে একটি বিশেষ মডিউল ব্যবহার করা হয়েছে — এটি অত্যন্ত দীর্ঘ ক্রম প্রক্রিয়াকরণের জন্য একটি কার্যকর আর্কিটেকচার। এই মডিউলটি দীর্ঘ যুক্তির শৃঙ্খল এনকোড করে, যার মধ্যে ছবির বস্তুর বিবরণ, তাদের স্থানিক সম্পর্ক এবং সমস্যা সমাধানের ধাপ অন্তর্ভুক্ত থাকতে পারে[7]।
মডেলটি MME, AI2D (ডায়াগ্রাম বোঝাপড়া) এবং MathVista (ভিজ্যুয়াল প্রেক্ষাপটে গণিত সমস্যা সমাধান)-এর মতো জটিল মাল্টিমোডাল benchmark-এ সফলভাবে পরীক্ষিত হয়েছে। এটি কোনো অতিরিক্ত বাহ্যিক কম্পিউটার ভিশন মডিউল ছাড়াই উচ্চ ফলাফল অর্জন করেছে, যা নিজস্ব parameter-এর কার্যকর ব্যবহার নির্দেশ করে[7]।
তথ্যসূত্র
- ↑ Banerjee, S., and A. Lavie. «METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments». ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT, 2005. [১]
- ↑ Lavie, A., and A. Agarwal. «METEOR: An Automatic Metric for MT Evaluation with High Levels of Correlation with Human Judgments». ACL Workshop on Statistical Machine Translation, 2007. [২]
- ↑ «Evaluating Large Language Models: Powerful Insights Ahead». DataScienceDojo. [৩]
- ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». arXiv preprint arXiv:2411.11933, 2024. [৪]
- ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». ar5iv.org. [৫]
- ↑ Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». NeurIPS 2024 (poster). [৬]
- ↑ 7.0 7.1 Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». arXiv preprint arXiv:2405.15574, 2024. [৭]