Encoder (Transformer) (EL)

Κωδικοποιητής (αγγλ. Encoder) — στο Machine Learning και στο βαθύ learning, είναι ένα συστατικό νευρωνικού δικτύου, κύριο καθήκον του οποίου είναι η μετατροπή μιας εισερχόμενης ακολουθίας δεδομένων (π.χ. κειμένου ή εικόνας) σε μια πλούσια αριθμητική αναπαράσταση, η οποία συνήθως αποκαλείται κρυφή κατάσταση, διανυσμα πλαισίου ή embedding. Αυτή η αναπαράσταση συλλαμβάνει τα βασικά χαρακτηριστικά και τη σημασιολογία των εισερχόμενων δεδομένων σε μορφή κατάλληλη για περαιτέρω επεξεργασία.

Με ευρύτερη έννοια, στη θεωρία πληροφορίας, ο κωδικοποιητής είναι οποιαδήποτε συσκευή ή αλγόριθμος που μετατρέπει πληροφορίες από μία μορφή σε άλλη, συχνά με σκοπό τη συμπίεση ή τη μετάδοση.

Έννοια και σκοπός

Ο κύριος στόχος του κωδικοποιητή στα νευρωνικά δίκτυα είναι να εξαγάγει από τα εισερχόμενα δεδομένα χρήσιμα χαρακτηριστικά και να τα «κωδικοποιήσει» σε ένα πυκνό διάνυσμα σταθερού μήκους. Αυτή η διαδικασία μπορεί να εκληφθεί ως μια μορφή μη γραμμικής μείωσης διαστατικότητας, όπου τα δεδομένα υψηλής διαστατικότητας και αραιά (π.χ. κείμενο αναπαρασταμένο με one-hot διανύσματα) μετατρέπονται σε ένα χαμηλοδιάστατο, αλλά πληροφοριακά πλούσιο διανυσματικό χώρο (λανθάνων χώρος).

Αυτό το κωδικοποιημένο διάνυσμα μπορεί στη συνέχεια να χρησιμοποιηθεί:

• Από τον αποκωδικοποιητή για τη δημιουργία νέας ακολουθίας (π.χ. στη μηχανική μετάφραση).
• Από έναν ταξινομητή για την επίλυση αναλυτικών εργασιών (π.χ. ανίχνευση συναισθήματος κειμένου).
• Για εργασίες που απαιτούν κατανόηση του συνόλου του εισερχόμενου πλαισίου.

Κωδικοποιητής σε διάφορες αρχιτεκτονικές

Κωδικοποιητής στον αυτόματο κωδικοποιητή

Ένα από τα κλασικά παραδείγματα είναι η αρχιτεκτονική του αυτόματου κωδικοποιητή. Αποτελείται από δύο μέρη:

1. Κωδικοποιητής: Συμπιέζει τα εισερχόμενα δεδομένα σε μια κρυφή αναπαράσταση μικρότερης διαστατικότητας (λανθάνων κώδικας).
2. Αποκωδικοποιητής: Προσπαθεί να ανακατασκευάσει τα αρχικά δεδομένα από αυτή τη συμπιεσμένη αναπαράσταση.

Εκπαιδεύοντας ένα τέτοιο δίκτυο ώστε να ελαχιστοποιεί το σφάλμα ανακατασκευής, ο κωδικοποιητής μαθαίνει να εξάγει τα πιο σημαντικά χαρακτηριστικά από τα δεδομένα.

Κωδικοποιητής σε επαναλαμβανόμενα νευρωνικά δίκτυα (RNN/LSTM)

Πριν από την εμφάνιση της αρχιτεκτονικής Transformer, οι κωδικοποιητές σε εργασίες επεξεργασίας ακολουθιών (seq2seq) βασίζονταν σε επαναλαμβανόμενα νευρωνικά δίκτυα (RNN) ή στην εξελιγμένη παραλλαγή τους LSTM.

• Αρχή λειτουργίας: Ο RNN κωδικοποιητής επεξεργάζεται την εισερχόμενη ακολουθία token προς token. Σε κάθε βήμα ενημερώνει την κρυφή κατάσταση του, ενσωματώνοντας πληροφορίες σχετικά με το τρέχον token και την προηγούμενη κατάσταση. Η τελική κρυφή κατάσταση, που λαμβάνεται μετά την επεξεργασία ολόκληρης της ακολουθίας, θεωρείται ως διάνυσμα που κωδικοποιεί το νόημα ολόκληρης της εισερχόμενης ακολουθίας. Αυτό το διάνυσμα συχνά αποκαλείται διανυσμα πλαισίου ή «διάνυσμα σκέψης» (thought vector).

Κωδικοποιητής στην αρχιτεκτονική Transformer

Η επανάσταση στην επεξεργασία φυσικής γλώσσας συνδέεται με την εμφάνιση του κωδικοποιητή βασισμένου στην αρχιτεκτονική Transformer. Σε αντίθεση με τα RNN, επεξεργάζεται όλα τα token της ακολουθίας παράλληλα.

Ο κωδικοποιητής Transformer αποτελείται από μια στοίβα ($N$) πανομοιότυπων στρωμάτων. Κάθε στρώμα έχει δύο κύρια υποστρώματα:

1. Πολυκέφαλη αυτο-προσοχή (Multi-Head Self-Attention): Αυτός ο μηχανισμός επιτρέπει σε κάθε token της εισερχόμενης ακολουθίας να «δίνει προσοχή» σε όλα τα υπόλοιπα token και να σταθμίζει τη σημασία τους για τον σχηματισμό της δικής του πλαισιακής αναπαράστασης. Αυτό επιτρέπει στο μοντέλο να συλλαμβάνει πολύπλοκες εξαρτήσεις μεταξύ λέξεων, ανεξάρτητα από τη θέση τους.
2. Πλήρως συνδεδεμένο νευρωνικό δίκτυο (Feed-Forward Network): Εφαρμόζεται στην αναπαράσταση κάθε token χωριστά για περαιτέρω μη γραμμικό μετασχηματισμό.

Η βασική διαφορά του κωδικοποιητή Transformer από τον RNN κωδικοποιητή είναι ότι στην έξοδό του παράγει όχι ένα διάνυσμα πλαισίου, αλλά μια ακολουθία πλαισιακών διανυσμάτων — ένα για κάθε εισερχόμενο token. Κάθε τέτοιο διάνυσμα περιέχει πληροφορίες σχετικά με το token του στο πλαίσιο ολόκληρης της ακολουθίας.

Τύποι μοντέλων βασισμένων στον κωδικοποιητή

Μοντέλα κωδικοποιητή-αποκωδικοποιητή

Πρόκειται για την κλασική αρχιτεκτονική για εργασίες μετατροπής ακολουθίας σε ακολουθία (seq2seq), όπως η μηχανική μετάφραση ή η περίληψη.

• Αρχή λειτουργίας: Ο κωδικοποιητής επεξεργάζεται ολόκληρη την εισερχόμενη ακολουθία (π.χ. μια πρόταση στη γλώσσα πηγή). Οι αναπαραστάσεις εξόδου του διαβιβάζονται στη συνέχεια στον αποκωδικοποιητή, ο οποίος, χρησιμοποιώντας αυτές, παράγει αυτοπαλινδρομικά την εξερχόμενη ακολουθία (πρόταση στη γλώσσα στόχο). Ο αποκωδικοποιητής «κοιτά» την έξοδο του κωδικοποιητή μέσω ειδικού μηχανισμού διασταυρωμένης προσοχής (cross-attention).
• Παραδείγματα: Ο αρχικός Transformer, T5, BART.

Μοντέλα αποκλειστικά κωδικοποιητή (Encoder-Only)

Αυτά τα μοντέλα χρησιμοποιούν αποκλειστικά τη στοίβα κωδικοποιητών Transformer.

• Αρχή λειτουργίας: Προορίζονται για εργασίες που απαιτούν βαθιά κατανόηση του πλαισίου ολόκληρου του εισερχόμενου κειμένου. Χάρη στην αμφίδρομη φύση του μηχανισμού αυτο-προσοχής, δημιουργούν πλούσιες πλαισιακές αναπαραστάσεις για κάθε token.
• Εφαρμογή: Ιδανικά για εργασίες ανάλυσης και κατανόησης γλώσσας (NLU), όπως:
  • Ταξινόμηση κειμένου (π.χ. ανάλυση συναισθήματος).
  • Αναγνώριση ονομαστικών οντοτήτων (NER).
  • Απαντήσεις σε ερωτήσεις (Question Answering), όπου η απάντηση είναι τμήμα του κειμένου.
• Παράδειγμα: BERT και τα παράγωγά του (RoBERTa, ALBERT).

Σχέση με τον αποκωδικοποιητή

Στην αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή, ο κωδικοποιητής και ο αποκωδικοποιητής επιτελούν συμπληρωματικούς ρόλους:

• Ο κωδικοποιητής είναι υπεύθυνος για την κατανόηση της εισερχόμενης ακολουθίας.
• Ο αποκωδικοποιητής είναι υπεύθυνος για τη δημιουργία της εξερχόμενης ακολουθίας.

Ο βασικός συνδετικός κρίκος μεταξύ τους είναι ο μηχανισμός διασταυρωμένης προσοχής (cross-attention) εντός του αποκωδικοποιητή. Σε κάθε βήμα δημιουργίας, ο αποκωδικοποιητής διαμορφώνει ένα ερώτημα (Query) βάσει του ήδη παραχθέντος τμήματος της εξερχόμενης ακολουθίας και το χρησιμοποιεί για να «δώσει προσοχή» στις εξόδους αναπαραστάσεις του κωδικοποιητή (οι οποίες λειτουργούν ως κλειδιά και τιμές — Key και Value). Αυτό επιτρέπει στον αποκωδικοποιητή να εστιάσει στα πιο σχετικά τμήματα της εισερχόμενης ακολουθίας για τη δημιουργία του επόμενου token.

Βιβλιογραφία

• Hinton, G. E.; Salakhutdinov, R. R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science. DOI:10.1126/science.1127647.
• Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. arXiv:1406.1078.
• Sutskever, I.; Vinyals, O.; Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. arXiv:1409.3215.
• Bahdanau, D.; Cho, K.; Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. arXiv:1409.0473.
• Kingma, D. P.; Welling, M. (2014). Auto-Encoding Variational Bayes. arXiv:1312.6114.
• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Dai, Z. et al. (2019). Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context. arXiv:1901.02860.
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv:1910.10683.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Dosovitskiy, A. et al. (2020). An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale. arXiv:2010.11929.

Δείτε επίσης

• BERT