Chinchilla (language model) (EL)

Chinchilla — είναι ένα μεγάλο γλωσσικό μοντέλο (LLM), που αναπτύχθηκε από την ερευνητική ομάδα DeepMind και παρουσιάστηκε τον Μάρτιο του 2022. Το μοντέλο περιέχει περίπου 70 δισεκατομμύρια παραμέτρους και εκπαιδεύτηκε σε ένα σώμα κειμένου όγκου 1,4 τρισεκατομμυρίων token.

Βασικό χαρακτηριστικό της Chinchilla είναι η υπολογιστικά βέλτιστη προσέγγισή της στην εκπαίδευση. Σε αντίθεση με προηγούμενα μοντέλα, όπου η κύρια έμφαση δινόταν στην αύξηση του αριθμού των παραμέτρων, η Chinchilla δημιουργήθηκε βάσει της υπόθεσης ότι απαιτείται αναλογική κλιμάκωση τόσο του μεγέθους του μοντέλου όσο και του όγκου των δεδομένων εκπαίδευσης. Χάρη σε αυτή την προσέγγιση, η Chinchilla επέδειξε υπεροχή έναντι σημαντικά μεγαλύτερων μοντέλων, όπως το Gopher (280 δισ. παράμετροι) και το GPT-3 (175 δισ.), σε ένα ευρύ φάσμα γλωσσικών εργασιών.

Προϋποθέσεις και ιστορικό δημιουργίας

Η ανάπτυξη της Chinchilla αποτέλεσε αποτέλεσμα έρευνας κλιμάκωσης LLM που διεξαγόταν στη DeepMind βάσει της οικογένειας μοντέλων Gopher. Το μοντέλο Gopher, που παρουσιάστηκε το 2021, είχε 280 δισ. παραμέτρους, αλλά εκπαιδεύτηκε σε ένα σχετικά μικρό σώμα 300 δισ. token. Εκείνη την εποχή κυριαρχούσε στον κλάδο η προσέγγιση σύμφωνα με την οποία η απόδοση των μοντέλων βελτιωνόταν κυρίως μέσω της αύξησης του μεγέθους τους (αριθμός παραμέτρων), ενώ ο όγκος των δεδομένων παρέμενε σχετικά σταθερός.

Υπόθεση υπολογιστικά βέλτιστης εκπαίδευσης

Οι ερευνητές της DeepMind διατύπωσαν την υπόθεση ότι πολλά μεγάλα μοντέλα, συμπεριλαμβανομένου του Gopher, ήταν υποεκπαιδευμένα (undertrained) σε σχέση με το μέγεθός τους. Δεν επέτυχαν τη μέγιστη δυνατή ποιότητα για δεδομένο υπολογιστικό προϋπολογισμό, καθώς τους έλειπαν δεδομένα εκπαίδευσης.

Η ουσία της υπόθεσης ήταν ότι για τη βέλτιστη αξιοποίηση υπολογιστικών πόρων, το μέγεθος του μοντέλου και ο όγκος των δεδομένων εκπαίδευσης πρέπει να αυξάνονται αναλογικά μεταξύ τους. Με άλλα λόγια, κατά τον διπλασιασμό του αριθμού παραμέτρων του μοντέλου, απαιτείται περίπου διπλασιασμός και των token εκπαίδευσης. Αυτό το συμπέρασμα αποκλίνει από προηγούμενες έρευνες που υπερεκτιμούσαν την αξία της αύξησης του μεγέθους του μοντέλου, καθώς διεξάγονταν με σταθερό όγκο δεδομένων.

Για την επαλήθευση αυτής της υπόθεσης, η ομάδα DeepMind διεξήγαγε εκτεταμένα πειράματα, εκπαιδεύοντας πάνω από 400 μοντέλα διαφορετικού μεγέθους σε σύνολα δεδομένων από 5 έως 500 δισ. token. Τα αποτελέσματα επιβεβαίωσαν ότι η παράλληλη κλιμάκωση αποτελεί τη βέλτιστη στρατηγική. Βάσει αυτών των συμπερασμάτων αναπτύχθηκε το μοντέλο Chinchilla ως πρακτική δοκιμή του νέου παραδείγματος.

Αρχιτεκτονική και εκπαίδευση

Αρχιτεκτονικά χαρακτηριστικά

Η Chinchilla ανήκει στην οικογένεια αυτοπαλίνδρομων transformer και αρχιτεκτονικά είναι κοντά στα μοντέλα GPT-2/GPT-3. Κληρονόμησε πολλές επιλογές από το Gopher, αλλά με βασικές διαφορές που αποσκοπούν στη μείωση του μεγέθους διατηρώντας το βάθος του δικτύου:

• Παράμετροι: ~70 δισ. παράμετροι, κατανεμημένοι σε 80 στρώματα.
• Πλάτος μοντέλου: Ο αριθμός κεφαλών self-attention μειώθηκε στις 64 (έναντι 128 στο Gopher), ενώ η εσωτερική διάσταση των στρωμάτων μειώθηκε στις 8192 (έναντι ~16384 στο Gopher).
• Βελτιστοποιητής: Χρησιμοποιείται ο AdamW αντί του Adam, κάτι που βελτιώνει τη σύγκλιση σε μεγάλα σύνολα δεδομένων.

Αυτή η αρχιτεκτονική επέτρεψε στην Chinchilla να διατηρήσει το ίδιο βάθος δικτύου με το Gopher, αλλά με σημαντικά μικρότερο αριθμό παραμέτρων, μειώνοντας έτσι τις απαιτήσεις σε μνήμη και υπολογιστικούς πόρους.

Κλιμάκωση και δεδομένα εκπαίδευσης

Για την επαλήθευση της υπόθεσης, η Chinchilla εκπαιδεύτηκε με τον ίδιο υπολογιστικό προϋπολογισμό με το Gopher, αλλά με αναδιανομή πόρων υπέρ των δεδομένων. Το μοντέλο με 70 δισ. παραμέτρους εκπαιδεύτηκε σε σώμα 1,4 τρισεκατομμυρίων token, κάτι που υπερβαίνει κατά περίπου 4 φορές τον όγκο δεδομένων που χρησιμοποιήθηκε για το Gopher.

Αυτή η αναλογία, περίπου 20 token ανά παράμετρο, έγινε γνωστή ως σημείο Chinchilla (Chinchilla Point) και αποτελεί σημείο αναφοράς για την υπολογιστικά βέλτιστη εκπαίδευση σύγχρονων LLM. Το πείραμα επιβεβαίωσε ότι η Chinchilla, εκπαιδευμένη πιο κοντά σε αυτό το βέλτιστο όριο, μπόρεσε να αξιοποιήσει τις δυνατότητές της πιο πλήρως από τα υποεκπαιδευμένα, αν και μεγαλύτερα, μοντέλα.

Αποτελέσματα και απόδοση

Σε ένα ευρύ σύνολο τυπικών δοκιμών, η Chinchilla επέδειξε σημαντική υπεροχή έναντι προηγούμενων μοντέλων. Ξεπέρασε άνετα όχι μόνο το Gopher, αλλά και άλλα LLM της εποχής εκείνης, συμπεριλαμβανομένων των OpenAI GPT-3 (175 δισ. παράμετροι) και Megatron-Turing NLG (530 δισ. παράμετροι).

Πιο αποκαλυπτικό ήταν το αποτέλεσμα στο σύνθετο benchmark MMLU (Measuring Massive Multitask Language Understanding), το οποίο αξιολογεί τις γνώσεις και τη συλλογιστική σε εκατοντάδες ετερογενείς εργασίες. Η Chinchilla επέτυχε μέση ακρίβεια 67,5%, που αποτέλεσε νέο ρεκόρ για μοντέλα αυτής της κατηγορίας και υπερέβη το αποτέλεσμα του Gopher κατά 7 ποσοστιαίες μονάδες.

Πέρα από την υψηλή απόδοση, η Chinchilla κατέδειξε και οικονομία στη χρήση. Το μικρότερο μέγεθος μοντέλου (70 δισ. έναντι 175+ δισ. των αντίστοιχων μοντέλων) σημαίνει ότι για τη λογική εξαγωγή (inference) και την περαιτέρω εκπαίδευση (fine-tuning) απαιτούνται σημαντικά λιγότεροι υπολογιστικοί πόροι, κάτι που απλοποιεί την πρακτική της εφαρμογή.

Σημασία και επίδραση

Η έρευνα της Chinchilla άσκησε θεμελιώδη επίδραση στις προσεγγίσεις εκπαίδευσης μεγάλων γλωσσικών μοντέλων.

• Νόμοι κλιμάκωσης Chinchilla (Chinchilla scaling laws): Η βέλτιστη αναλογία που εντοπίστηκε μεταξύ μεγέθους μοντέλου και όγκου δεδομένων κατέστη de facto πρότυπο και σημείο αναφοράς για μεταγενέστερες αναπτύξεις στον κλάδο.
• Μετατόπιση εστίας από το μέγεθος στα δεδομένα: Η εργασία ώθησε τον κλάδο να δώσει μεγαλύτερη προσοχή στη δημιουργία, τον καθαρισμό και την επέκταση των σωμάτων εκπαίδευσης, και όχι μόνο στην αδιάκριτη αύξηση του αριθμού παραμέτρων.
• Εφαρμογή σε πολυτροπικά συστήματα: Η Chinchilla χρησιμοποιήθηκε ως κύριο γλωσσικό συστατικό στο πολυτροπικό μοντέλο DeepMind Flamingo, το οποίο είναι ικανό να κατανοεί εικόνες και κείμενο.

Αν και το ίδιο το μοντέλο Chinchilla δεν δόθηκε για δημόσια χρήση, οι έννοιές του και τα αποτελέσματα που δημοσιεύτηκαν στην επιστημονική εργασία άλλαξαν την τροχιά ανάπτυξης ολόκληρου του τομέα LLM, χαράζοντας μια διαδρομή προς πιο αποδοτική και ισορροπημένη ανάπτυξη των δυνατοτήτων της τεχνητής νοημοσύνης.

Βιβλιογραφία

• Hendrycks, D.; Gimpel, K. (2016). Gaussian Error Linear Units (GELUs). arXiv:1606.08415.
• Loshchilov, I.; Hutter, F. (2017). Decoupled Weight Decay Regularization. arXiv:1711.05101.
• Shoeybi, M.; et al. (2019). Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053.
• Kaplan, J.; et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Brown, T. B.; et al. (2020). Language Models are Few‑Shot Learners. arXiv:2005.14165.
• Rajbhandari, S.; et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. arXiv:1910.02054.
• Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
• Rae, J.; et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
• Hoffmann, J.; et al. (2022). Training Compute‑Optimal Large Language Models. arXiv:2203.15556.
• Alayrac, J.‑B.; et al. (2022). Flamingo: A Visual Language Model for Few‑Shot Learning. arXiv:2204.14198.
• Hendrycks, D.; et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.