Decoder-only models (architecture) (EL)

Μοντέλα αποκωδικοποιητή μόνο (αγγλ. Decoder-Only Models) — αυτή είναι η κυρίαρχη κατηγορία αρχιτεκτονικών μεγάλων γλωσσικών μοντέλων (LLM), που βασίζονται αποκλειστικά στο αποκωδικοποιητικό τμήμα (decoder) της αρχιτεκτονικής Transformer. Αυτά τα μοντέλα εξειδικεύονται σε εργασίες παραγωγής κειμένου και αποτελούν τη βάση για τους περισσότερους σύγχρονους chatbot και AI-βοηθούς.

Η κορυφαία σειρά που διέδωσε αυτή την προσέγγιση είναι η σειρά μοντέλων GPT από την OpenAI.

Έννοια και αρχιτεκτονική

Η βασική ιδέα των μοντέλων αποκωδικοποιητή μόνο έγκειται στην αυτοπαλίνδρομη παραγωγή ακολουθιών. Αυτό σημαίνει ότι το μοντέλο προβλέπει το επόμενο token βασιζόμενο σε όλα τα προηγούμενα token που έχουν παραχθεί έως εκείνη τη στιγμή. Το εισερχόμενο prompt (αίτημα χρήστη) και το ήδη παραχθέν κείμενο αντιμετωπίζονται ως ενιαία ακολουθία, την οποία το μοντέλο συνεχίζει.

Αρχιτεκτονικά, το μοντέλο αποτελείται από μια στοίβα $N$ πανομοιότυπων στρωμάτων αποκωδικοποιητή. Κάθε στρώμα, σε αντίθεση με τον κωδικοποιητή ή τον πλήρη αποκωδικοποιητή, περιέχει μόνο δύο βασικά υποστρώματα:

1. Μαρκαρισμένη πολυκέφαλη αυτο-προσοχή (Masked Multi-Head Self-Attention): Αυτός είναι ο βασικός μηχανισμός που διασφαλίζει την αυτοπαλίνδρομη ιδιότητα. Κατά την επεξεργασία της ακολουθίας, μια ειδική αιτιακή μάσκα (causal mask) εμποδίζει κάθε token να «κοιτάξει» τα επόμενα token. Έτσι, η πρόβλεψη για τη θέση $i$ εξαρτάται μόνο από τα token στις θέσεις $<i$.
2. Πλήρως συνδεδεμένο νευρωνικό δίκτυο (Feed-Forward Network): Εφαρμόζει μη γραμμικό μετασχηματισμό στην αναπαράσταση κάθε token.

Στα μοντέλα αποκωδικοποιητή μόνο απουσιάζει ο μηχανισμός διασταυρούμενης προσοχής (cross-attention), καθώς δεν υπάρχει κωδικοποιητής στον οποίο να μπορεί να «στρέψει την προσοχή» του.

Εργασίες προεκπαίδευσης

Τα μοντέλα αποκωδικοποιητή μόνο εκπαιδεύονται σε μία, αλλά εξαιρετικά ισχυρή αυτο-εποπτευόμενη εργασία:

Αιτιακή γλωσσική μοντελοποίηση (Causal Language Modeling, CLM)

• Αρχή λειτουργίας: Το μοντέλο εκπαιδεύεται να προβλέπει το επόμενο token σε μια ακολουθία. Σε κάθε βήμα εκπαίδευσης λαμβάνει ως είσοδο ένα απόσπασμα κειμένου και πρέπει να παράγει κατανομή πιθανοτήτων για το επόμενο token.
• Στόχος: Μεγιστοποίηση της πιθανότητας του σωστού επόμενου token σε τεράστιους όγκους κειμενικών δεδομένων. Αυτή η φαινομενικά απλή εργασία αναγκάζει το μοντέλο να μάθει γραμματική, σύνταξη, γεγονότα για τον κόσμο και σύνθετα γλωσσικά πρότυπα.

Εφαρμογές

Λόγω της αυτοπαλίνδρομης φύσης τους, τα μοντέλα αποκωδικοποιητή μόνο είναι ιδανικά για οποιαδήποτε εργασία που απαιτεί παραγωγή κειμένου:

• Ελεύθερη παραγωγή κειμένου: Συγγραφή άρθρων, ποιημάτων, σεναρίων κ.λπ.
• Διαλογικά συστήματα και chatbot: Απαντήσεις σε ερωτήματα χρηστών σε συνομιλητικό ύφος.
• Συνόψιση: Δημιουργία περίληψης μεγάλων κειμένων.
• Μηχανική μετάφραση: Αν και για αυτό συχνά χρησιμοποιούνται μοντέλα κωδικοποιητή-αποκωδικοποιητή, τα μοντέλα αποκωδικοποιητή μόνο μπορούν επίσης να ανταποκριθούν στη μετάφραση, εάν η εργασία διατυπωθεί στο prompt (π.χ. «Μετάφρασε από αγγλικά σε ελληνικά: ...»).
• Συγγραφή κώδικα: Παραγωγή κώδικα από κειμενική περιγραφή.
• Εκμάθηση εντός πλαισίου (In-context learning): Χάρη στην κλίμακά τους, τα μεγάλα μοντέλα αποκωδικοποιητή επιδεικνύουν ικανότητα επίλυσης νέων εργασιών λαμβάνοντας μόνο λίγα παραδείγματα (few-shot) ή ακόμα και χωρίς κανένα (zero-shot) απευθείας στο prompt, χωρίς ανάγκη για fine-tuning.

Βασικά μοντέλα και η εξέλιξή τους

• Σειρά GPT (2018-σήμερα): Πρωτοπόροι και διαδότες της προσέγγισης. Το GPT-1 απέδειξε την αποτελεσματικότητα της προεκπαίδευσης, το GPT-2 ανέδειξε τη δύναμη της κλιμάκωσης, και το GPT-3 — την ανάδυση των few-shot ικανοτήτων. Το ChatGPT και το GPT-4 καθιέρωσαν αυτή την αρχιτεκτονική ως πρότυπο για τους AI-βοηθούς.
• LLaMA (2023-σήμερα): Σειρά ανοιχτών μοντέλων από τη Meta, η οποία δημοκράτησε την πρόσβαση σε ισχυρά LLM και τόνωσε ένα κύμα καινοτομίας στην κοινότητα.
• Claude (2023-σήμερα): Οικογένεια μοντέλων από την Anthropic, εστιασμένη στην ασφάλεια και τη διαχειρισιμότητα μέσω της Constitutional AI.
• PaLM και Gemini (2022-σήμερα): Κορυφαία μοντέλα της Google. Το Gemini είναι επίσης ένα εγγενώς πολυτροπικό μοντέλο αποκωδικοποιητή μόνο.

Σύγκριση με άλλες αρχιτεκτονικές

Σύγκριση βασικών αρχιτεκτονικών βασισμένων στο Transformer

Αρχιτεκτονική	Κύρια εργασία	Κατεύθυνση πλαισίου	Χαρακτηριστικά μοντέλα
Αποκωδικοποιητής μόνο	Παραγωγή κειμένου	Μονοκατευθυντικό (από αριστερά προς τα δεξιά)	GPT, LLaMA, Claude, Gemini
Κωδικοποιητής μόνο	Κατανόηση κειμένου	Αμφίδρομο	BERT, RoBERTa
Κωδικοποιητής-αποκωδικοποιητής	Μετατροπή ακολουθίας σε ακολουθία	Αμφίδρομο (κωδικοποιητής) + Μονοκατευθυντικό (αποκωδικοποιητής)	T5, BART, αρχικό Transformer

Δείτε επίσης

• GPT