Embedding (NLP) (EL)

Embedding (από το αγγλικό embedding — «ενσωμάτωση») — είναι μια θεμελιώδης τεχνολογία στον τομέα της Machine Learning και της επεξεργασίας φυσικής γλώσσας, η οποία μετατρέπει διακριτά ή σύνθετα αντικείμενα (όπως λέξεις, προτάσεις, εικόνες) σε αριθμητικές διανυσματικές αναπαραστάσεις σταθερής διάστασης. Αυτά τα διανύσματα, ή embeddings, τοποθετούνται σε πολυδιάστατο χώρο έτσι ώστε σημασιολογικά παρόμοια αντικείμενα να βρίσκονται κοντά το ένα στο άλλο.

Ορισμός και έννοια

Τυπικά, το embedding είναι μια συνάρτηση απεικόνισης $f:X\to {ℝ}^d$, όπου $X$ — ο αρχικός χώρος αντικειμένων (π.χ. το λεξιλόγιο λέξεων), και ${ℝ}^d$ — ο πολυδιάστατος διανυσματικός χώρος (χώρος embeddings) με διάσταση $d$. Η διάσταση $d$ είναι σημαντικά μικρότερη από τη διάσταση του αρχικού χώρου, γεγονός που καθιστά αυτές τις αναπαραστάσεις πυκνές (dense).

Θεωρητική βάση για τις διανυσματικές αναπαραστάσεις λέξεων αποτελεί η κατανεμητική σημασιολογία, η οποία υποστηρίζει ότι η σημασία μιας λέξης καθορίζεται από το πλαίσιο χρήσης της. Δηλαδή, οι λέξεις που εμφανίζονται σε παρόμοια πλαίσια έχουν παρόμοιες σημασίες και, κατά συνέπεια, κοντινές διανυσματικές αναπαραστάσεις.

Βασικές αρχές των embeddings

• Σταθερή διάσταση: Όλα τα αντικείμενα απεικονίζονται σε διανύσματα ίδιου μήκους, ανεξάρτητα από το μέγεθος των αρχικών δεδομένων (π.χ. το μήκος μιας πρότασης).
• Σημασιολογική εγγύτητα: Η απόσταση μεταξύ διανυσμάτων (συχνά μετρούμενη μέσω cosine similarity) αντικατοπτρίζει τη σημασιολογική εγγύτητα των αρχικών αντικειμένων.
• Υποστήριξη μαθηματικών πράξεων: Τα διανύσματα διατηρούν σημασιολογικές σχέσεις, επιτρέποντας την εκτέλεση αλγεβρικών πράξεων πάνω τους. Κλασικό παράδειγμα: $\text{вектор}(\text{«король»})-\text{вектор}(\text{«мужчина»})+\text{вектор}(\text{«женщина»})\approx \text{вектор}(\text{«королева»})$.

Ιστορία και εξέλιξη

Πρώιμες προσεγγίσεις (1980–2000)

Οι πρώτες ιδέες διανυσματικών αναπαραστάσεων εμφανίστηκαν τη δεκαετία του 1980 στο πλαίσιο ερευνών Neural Networks. Οι πρώτες μέθοδοι βασίζονταν στη στατιστική ανάλυση της συνεμφάνισης λέξεων.

Η εποχή του Word2Vec (2013)

Επαναστατική στιγμή υπήρξε η ανάπτυξη του Word2Vec από την ομάδα της Google υπό την καθοδήγηση του Tomáš Mikolov το 2013. Το Word2Vec πρότεινε δύο αποδοτικές και υπολογιστικά οικονομικές αρχιτεκτονικές για την εκπαίδευση embeddings λέξεων:

• CBOW (Continuous Bag of Words): Προβλέπει την κεντρική λέξη με βάση το περιβάλλον πλαίσιο της.
• Skip-gram: Προβλέπει τις λέξεις πλαισίου από την κεντρική λέξη.

Το Word2Vec έγινε η πρώτη δημοφιλής υλοποίηση διανυσματικών αναπαραστάσεων, εν πολλοίς χάρη στον ανοιχτό πηγαίο κώδικα και την υψηλή ταχύτητα λειτουργίας.

Ανάπτυξη εναλλακτικών προσεγγίσεων

Μετά το Word2Vec εμφανίστηκαν και άλλα σημαντικά μοντέλα στατικών embeddings:

• GloVe (2014): Μοντέλο που αναπτύχθηκε στο Πανεπιστήμιο Stanford, το οποίο χρησιμοποιεί παγκόσμια στατιστική συνεμφάνισης λέξεων για την εκπαίδευση διανυσμάτων.
• FastText (2015): Μοντέλο από το Facebook, το οποίο λαμβάνει υπόψη τη μορφολογία των λέξεων, αναπαριστώντας κάθε λέξη ως άθροισμα διανυσμάτων των n-gram χαρακτήρων της. Αυτό επιτρέπει τη δημιουργία embeddings ακόμα και για λέξεις που δεν υπήρχαν στο εκπαιδευτικό λεξιλόγιο (Out-of-Vocabulary λέξεις).

Η εποχή των transformer και των contextual embeddings (2018–σήμερα)

Η돌άση ήρθε με την εμφάνιση της αρχιτεκτονικής transformer και του μοντέλου BERT (2018). Αυτό οδήγησε στην εμφάνιση contextual embeddings, όπου η διανυσματική αναπαράσταση μιας λέξης εξαρτάται από το πλαίσιο χρήσης της. Σε αντίθεση με τις στατικές αναπαραστάσεις, όπου η λέξη «κλειδί» θα είχε το ίδιο διάνυσμα σε διαφορετικές σημασίες, τα contextual μοντέλα παράγουν διαφορετικά embeddings για κάθε περίπτωση.

Τύποι embeddings

Ανά επίπεδο αναπαράστασης

• Embeddings λέξεων: Βασικός τύπος, όπου κάθε λέξη αναπαρίσταται από ένα ξεχωριστό διάνυσμα (Word2Vec, GloVe).
• Embeddings προτάσεων και εγγράφων: Αναπαριστούν ολόκληρες φράσεις, προτάσεις ή έγγραφα με ένα ενιαίο διάνυσμα (PV-DM, PV-DBOW).
• Embeddings χρηστών και αντικειμένων: Χρησιμοποιούνται σε συστήματα συστάσεων για την αναπαράσταση των ενδιαφερόντων των χρηστών και των χαρακτηριστικών των προϊόντων.

Ανά πλαισιοποίηση

• Στατικά embeddings: Σε κάθε λέξη αποδίδεται ένα σταθερό διάνυσμα, ανεξάρτητα από το πλαίσιο (Word2Vec, GloVe, FastText).
• Contextual embeddings: Παράγουν διαφορετικές αναπαραστάσεις για την ίδια λέξη ανάλογα με το περιβάλλον της. Κύριοι εκπρόσωποι:
  • BERT: Αμφίδρομο μοντέλο βασισμένο σε transformer.
  • ELMo: Αμφίδρομο LSTM μοντέλο.
  • RoBERTa, DistilBERT, ALBERT: Βελτιωμένες παραλλαγές του BERT.

Ανά τρόπο (modality)

• Κειμενικά embeddings: Ο πιο διαδεδομένος τύπος, που περιλαμβάνει αναπαραστάσεις λέξεων, προτάσεων και εγγράφων.
• Οπτικά embeddings: Αναπαραστάσεις εικόνων για εργασίες υπολογιστικής όρασης.
• Πολυτροπικά embeddings: Συνδυάζουν διαφορετικούς τύπους δεδομένων (κείμενο, εικόνες, ήχο) σε ένα ενιαίο διανυσματικό χώρο. Παράδειγμα αποτελεί το ImageBind, που μπορεί να συνδέει δεδομένα από έξι τρόπους (modalities).

Αρχιτεκτονικές και μέθοδοι εκπαίδευσης

Κλασικές μέθοδοι

• One-hot κωδικοποίηση: Η απλούστερη μέθοδος, όπου κάθε λέξη κωδικοποιείται ως διάνυσμα με μέγεθος ίσο με το λεξιλόγιο και μονάδα στην αντίστοιχη θέση. Μειονεκτήματα: υψηλή αραιότητα και απουσία σημασιολογικής πληροφορίας.
• Παραγοντοποίηση πίνακα: Μέθοδοι μείωσης διάστασης (π.χ. LSA) που εφαρμόζονται σε πίνακες συνεμφάνισης λέξεων.

Νευρωνικές αρχιτεκτονικές

• Ρηχά Neural Networks: Οι αρχιτεκτονικές CBOW και Skip-gram στο Word2Vec χρησιμοποιούν διπλοστρωματικά Neural Networks για αποδοτική εκπαίδευση.
• Transformer: Αρχιτεκτονική που επαναστατικοποίησε τον τομέα χάρη στον μηχανισμό attention.

Σύγχρονες προσεγγίσεις

• Αυτο-εκπαίδευση με μάσκες: Το BERT χρησιμοποιεί την εργασία πρόβλεψης καλυμμένων λέξεων για την εκπαίδευση contextual αναπαραστάσεων.
• Contrastive learning: Μέθοδοι που μεγιστοποιούν την ομοιότητα σημασιολογικά κοντινών (θετικών) ζευγών και ελαχιστοποιούν την ομοιότητα απομακρυσμένων (αρνητικών) ζευγών.

Εφαρμογές των embeddings

Τα embeddings βρίσκουν ευρεία εφαρμογή σε διάφορους τομείς:

Επεξεργασία φυσικής γλώσσας

• Αναζήτηση και ανάκτηση πληροφοριών: Βελτίωση της ποιότητας σημασιολογικής αναζήτησης, επιτρέποντας την εύρεση εγγράφων βάσει νοήματος και όχι λέξεων-κλειδιών.
• Κατηγοριοποίηση κειμένων: Οι διανυσματικές αναπαραστάσεις χρησιμεύουν ως δεδομένα εισόδου για ταξινομητές, αυξάνοντας την ακρίβειά τους.
• Ανάλυση συναισθήματος: Προσδιορισμός της συναισθηματικής χροιάς κειμένων λαμβάνοντας υπόψη το πλαίσιο.
• Αυτόματη μετάφραση: Βελτίωση της κατανόησης της σημασιολογίας της γλώσσας πηγής και στόχου.

Συστήματα συστάσεων

Τα embeddings χρηστών και προϊόντων αποτελούν τη βάση των συστημάτων εξατομικευμένων συστάσεων, συμπεριλαμβανομένων:

• Συνεργατικό φιλτράρισμα: βασισμένο σε embeddings της συμπεριφοράς χρηστών.
• Φιλτράρισμα περιεχομένου: με χρήση embeddings χαρακτηριστικών προϊόντων.

Υπολογιστική όραση

• Κατηγοριοποίηση και αναζήτηση εικόνων: Τα συνελικτικά Neural Networks και τα Vision Transformers δημιουργούν embeddings εικόνων για την κατηγοριοποίηση και αναζήτηση οπτικά παρόμοιων.

Βιοπληροφορική και ιατρική

• Ανάλυση ιατρικών δεδομένων: Ανάλυση κλινικών αρχείων και διάγνωσης ασθενειών.
• Μοριακές αναπαραστάσεις: Δημιουργία embeddings για την πρόβλεψη ιδιοτήτων χημικών ενώσεων.

Τεχνικές πτυχές και βελτιστοποίηση

• Μέθοδοι βελτιστοποίησης διάστασης: Matryoshka Representation Learning (MRL) — μια καινοτόμος προσέγγιση που επιτρέπει τη λήψη embeddings διαφορετικής διάστασης από ένα μοντέλο, συγκεντρώνοντας σημαντικές πληροφορίες στην αρχή του διανύσματος.
• Κβαντισμός embeddings: Μείωση της ακρίβειας αναπαράστασης αριθμών (π.χ. σε 8 ή 4 bits) για επιτάχυνση υπολογισμών και εξοικονόμηση μνήμης.
• Ενσωμάτωση με βάσεις δεδομένων: Σύγχρονες διανυσματικές βάσεις δεδομένων (π.χ. Milvus, Pinecone) και επεκτάσεις για παραδοσιακά ΣΔΒΔ (π.χ. pgvector για PostgreSQL) επιτρέπουν την αποδοτική αποθήκευση και αναζήτηση embeddings.

Σύνδεσμοι

• Διανυσματική αναπαράσταση λέξεων — Wikipedia
• Διανυσματική αναπαράσταση λέξεων — NEERC

Βιβλιογραφία

• Mikolov, T. et al. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv:1301.3781.
• Mikolov, T. et al. (2013). Distributed Representations of Words and Phrases and their Compositionality. arXiv:1310.4546.
• Pennington, J.; Socher, R.; Manning, C. (2014). GloVe: Global Vectors for Word Representation. PDF.
• Bojanowski, P. et al. (2017). Enriching Word Vectors with Subword Information. arXiv:1607.04606.
• Joulin, A. et al. (2017). Bag of Tricks for Efficient Text Classification. arXiv:1607.01759.
• Peters, M. E. et al. (2018). Deep Contextualized Word Representations. ACL Anthology.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Reimers, N.; Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. arXiv:1908.10084.
• Kusupati, A. et al. (2022). Matryoshka Representation Learning. arXiv:2205.13147.
• Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. PMLR 139.
• Girdhar, R. et al. (2023). ImageBind: One Embedding Space To Bind Them All. CVPR 2023.