METEOR (metric) (EL)
METEOR — είναι ένα όνομα που χρησιμοποιείται στον τομέα της επεξεργασίας φυσικής γλώσσας (NLP) για αρκετές συσχετισμένες, αλλά διαφορετικές έννοιες. Πρωτίστως, είναι μια γνωστή αυτόματη μετρική για την αξιολόγηση της ποιότητας της μηχανικής μετάφρασης. Επιπλέον, το 2024 υπό το ίδιο όνομα παρουσιάστηκαν δύο ανεξάρτητα ερευνητικά έργα που σχετίζονται με μεγάλα γλωσσικά μοντέλα (LLM): μια μέθοδος εξελικτικής εκπαίδευσης και ένα πολυτροπικό γλωσσικό μοντέλο.
METEOR ως μετρική αξιολόγησης ποιότητας μετάφρασης
METEOR (συντομογραφία του Metric for Evaluation of Translation with Explicit ORdering) — είναι μια αυτόματη μετρική για την αξιολόγηση της ποιότητας της μηχανικής μετάφρασης, που προτάθηκε το 2005 από τους ερευνητές του Πανεπιστημίου Carnegie Mellon Satanjeev Banerjee και Alon Lavie[1]. Στόχος της ήταν να βελτιώσει τη συμφωνία των αυτόματων αξιολογήσεων με τις ανθρώπινες κρίσεις, ιδιαίτερα σε επίπεδο μεμονωμένων προτάσεων, αντιμετωπίζοντας ορισμένες αδυναμίες της παλαιότερης μετρικής BLEU.
Βασικά χαρακτηριστικά της μετρικής METEOR:
- Υπολογισμός ακρίβειας και ανάκλησης: Σε αντίθεση με το BLEU, που εστιάζει μόνο στην ακρίβεια (precision), το METEOR υπολογίζει το αρμονικό μέσο μεταξύ ακρίβειας και ανάκλησης (recall), επιτρέποντας την τιμωρία μεταφράσεων που παραλείπουν σημαντικές λέξεις.
- Ευέλικτη αντιστοίχιση λέξεων: Το METEOR χρησιμοποιεί γλωσσολογικά χαρακτηριστικά για την αντιστοίχιση της μετάφρασης με το πρότυπο. Λαμβάνει υπόψη όχι μόνο ακριβείς αντιστοιχίσεις, αλλά και διαφορετικές μορφές λέξεων (μέσω stemming) και συνώνυμα (μέσω WordNet).
- Ποινή για διαταραχή σειράς λέξεων: Στη μετρική εισάγεται ποινή που τιμωρεί τη λανθασμένη σειρά λέξεων στην υπό αξιολόγηση μετάφραση, ακόμα κι αν όλες οι λέξεις συμφωνούν με το πρότυπο.
Αυτές οι βελτιώσεις επιτρέπουν στη μετρική METEOR να συσχετίζεται σημαντικά καλύτερα με τις αξιολογήσεις των ανθρώπων σε σύγκριση με το BLEU[2]. Η μετρική χρησιμοποιείται ευρέως στην έρευνα μηχανικής μετάφρασης, αυτόματης περίληψης και αξιολόγησης λεζαντών εικόνων[3].
METEOR ως μέθοδος εξελικτικής εκπαίδευσης LLM
Το 2024 μια ομάδα Κινέζων ερευνητών παρουσίασε μια μέθοδο με τίτλο METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth[4]. Αυτή η μέθοδος προορίζεται για την αποδοτική εκπαίδευση LLM που ειδικεύονται σε στενούς θεματικούς τομείς (π.χ. χρηματοοικονομικά, ιατρική), χωρίς να απαιτείται εκπαίδευση του μοντέλου από το μηδέν.
Οι συγγραφείς περιγράφουν ένα τριφασικό σχήμα «εξέλιξης» LLM:
- Απόσταξη γνώσης από ισχυρό μοντέλο σε ασθενές (weak-to-strong data distillation): Για τη δημιουργία του εκπαιδευτικού σώματος κειμένων χρησιμοποιείται ένα ισχυρότερο μοντέλο «δάσκαλος» (π.χ. GPT-4). Σε αυτό το πλαίσιο, το μοντέλο του τομέα δημιουργεί αρχικά ένα σχέδιο λύσης, ενώ το ισχυρό μοντέλο δημιουργεί την απάντηση ακολουθώντας αυτό το σχέδιο. Αυτό εξισορροπεί την κατανομή της γνώσης και επιτρέπει στο μοντέλο-στόχο να την αφομοιώσει αποτελεσματικότερα.
- Επαναληπτική εκπαίδευση με εξωτερική ανατροφοδότηση (guided iterative training): Το μοντέλο που εκπαιδεύτηκε στο πρώτο στάδιο επιλύει ανεξάρτητα προβλήματα, ενώ το ισχυρό μοντέλο λειτουργεί ως «διαιτητής», αξιολογώντας τις απαντήσεις και επισημαίνοντας τα σφάλματα. Αυτός ο κύκλος αναστοχασμού αναπτύσσει στο μοντέλο του τομέα την ικανότητα αυτο-ελέγχου.
- Αυτο-εξέλιξη (self-evolution): Το μοντέλο συνεχίζει να βελτιώνεται χωρίς εξωτερικό επόπτη, χρησιμοποιώντας τις συσσωρευμένες δεξιότητες για τη δημιουργία και διόρθωση νέων δεδομένων.
Αυτή η μέθοδος προσφέρει μια πρακτική προσέγγιση για τη δημιουργία συμπαγών και οικονομικά αποδοτικών LLM-εμπειρογνωμόνων για συγκεκριμένους κλάδους[5].
METEOR ως πολυτροπικό μοντέλο LLM
Επίσης το 2024, μια ερευνητική ομάδα από το KAIST παρουσίασε ένα μεγάλο πολυτροπικό γλωσσικό μοντέλο με τίτλο METEOR: Mamba-based Traversal of Rationales[6]. Το μοντέλο προορίζεται για ολοκληρωμένη κατανόηση οπτικής πληροφορίας και δημιουργία απαντήσεων σε οπτικές ερωτήσεις.
Το βασικό χαρακτηριστικό του METEOR είναι η χρήση εκτεταμένων συλλογισμών (rationales). Το μοντέλο δεν παράγει απλώς μια τελική απάντηση, αλλά δημιουργεί και στηρίζεται σε μια λανθάνουσα «αλυσίδα συλλογισμών» — μια διαδοχική εξήγηση για το πώς να φτάσει σε αυτή την απάντηση, παρόμοια με τον τρόπο που θα σκεφτόταν ένας άνθρωπος.
Στην αρχιτεκτονική METEOR χρησιμοποιείται ένα ειδικό module βασισμένο στο μοντέλο Mamba — μια αποδοτική αρχιτεκτονική για την επεξεργασία πολύ μακρών ακολουθιών. Αυτό το module κωδικοποιεί μακρές αλυσίδες συλλογισμών που μπορούν να περιλαμβάνουν περιγραφή αντικειμένων σε μια εικόνα, τις χωρικές σχέσεις τους και τα βήματα για την επίλυση του προβλήματος[7].
Το μοντέλο δοκιμάστηκε επιτυχώς σε σύνθετα πολυτροπικά benchmark, όπως το MME, το AI2D (κατανόηση διαγραμμάτων) και το MathVista (επίλυση μαθηματικών προβλημάτων σε οπτικό πλαίσιο). Έδειξε υψηλές επιδόσεις, χωρίς να απαιτεί πρόσθετα εξωτερικά module computer vision, γεγονός που υποδηλώνει αποδοτική χρήση των δικών του παραμέτρων[7].
Παραπομπές
- ↑ Banerjee, S., and A. Lavie. «METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments». ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT, 2005. [1]
- ↑ Lavie, A., and A. Agarwal. «METEOR: An Automatic Metric for MT Evaluation with High Levels of Correlation with Human Judgments». ACL Workshop on Statistical Machine Translation, 2007. [2]
- ↑ «Evaluating Large Language Models: Powerful Insights Ahead». DataScienceDojo. [3]
- ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». arXiv preprint arXiv:2411.11933, 2024. [4]
- ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». ar5iv.org. [5]
- ↑ Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». NeurIPS 2024 (poster). [6]
- ↑ 7.0 7.1 Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». arXiv preprint arXiv:2405.15574, 2024. [7]