Stop sequences (language models) (EL)

Stop Sequence (ακολουθία τερματισμού) στο πλαίσιο των μεγάλων γλωσσικών μοντέλων (LLM) είναι μια ειδική ακολουθία χαρακτήρων ή token, η οποία σηματοδοτεί στο μοντέλο την ανάγκη να διακόψει τη δημιουργία κειμένου. Αυτός ο μηχανισμός αποτελεί σημαντικό συστατικό στοιχείο των αυτοπαλίνδρομων γλωσσικών μοντέλων, εξασφαλίζοντας ελεγχόμενη και προβλέψιμη ολοκλήρωση της απόκρισης.

Κατά τη χρήση stop sequence, το μοντέλο σε κάθε βήμα δημιουργίας ελέγχει αν το ήδη παραχθέν κείμενο τελειώνει με μία από τις καθορισμένες ακολουθίες. Εάν εντοπιστεί αντιστοιχία, η διαδικασία διακόπτεται αμέσως, ενώ η ίδια η stop sequence δεν συμπεριλαμβάνεται στο τελικό αποτέλεσμα. Αυτό επιτρέπει στον προγραμματιστή να ελέγχει με ακρίβεια τα όρια της απόκρισης χωρίς να τροποποιεί το ίδιο το ερώτημα.

Βασικές αρχές λειτουργίας

Στα αυτοπαλίνδρομα γλωσσικά μοντέλα, η δημιουργία κειμένου πραγματοποιείται διαδοχικά, token ανά token. Σε κάθε βήμα, το μοντέλο προβλέπει το επόμενο token με βάση ολόκληρη την προηγούμενη ακολουθία (το εισαγόμενο prompt και το ήδη παραχθέν κείμενο). Μαθηματικά αυτό εκφράζεται ως δεσμευμένη πιθανότητα:

$P(y_t\mid y_{<t},x)$

όπου $y_t$ — το τρέχον παραγόμενο token, $y_{<t}$ — η ακολουθία των προηγουμένως παραχθέντων token, και $x$ — η ακολουθία εισόδου.

Ο μηχανισμός stop sequence λειτουργεί ως εξωτερικό κριτήριο για τη διακοπή αυτής της επαναληπτικής διαδικασίας.

Τύποι ακολουθιών τερματισμού

Υπάρχουν αρκετοί βασικοί τύποι μηχανισμών τερματισμού, οι οποίοι μπορούν να χρησιμοποιηθούν τόσο μεμονωμένα όσο και σε συνδυασμό.

1. Token τέλους ακολουθίας (EOS)

End-of-Sequence (EOS) — είναι ειδικά token (π.χ. `<|endoftext|>`), τα οποία είναι ενσωματωμένα στο λεξιλόγιο του μοντέλου και προορίζονται για τη σήμανση του τέλους ενός λογικού τμήματος κειμένου. Το μοντέλο εκπαιδεύεται να παράγει το EOS token όταν θεωρεί ότι η απόκριση έχει ολοκληρωθεί, καθώς όλα τα κείμενα στο σύνολο εκπαίδευσης τελειώνουν με αυτό το token. Κατά την ανίχνευση του EOS token, η δημιουργία διακόπτεται αυτόματα.

Έρευνες δείχνουν ότι η παρουσία EOS token επηρεάζει την αρχιτεκτονική προσοχής (attention): τα μοντέλα αναπτύσσουν εσωτερικούς μηχανισμούς καταμέτρησης θέσεων, γεγονός που ωστόσο μπορεί να περιορίζει την ικανότητά τους για εξωπολίωση σε ακολουθίες που υπερβαίνουν σημαντικά το μήκος των παραδειγμάτων εκπαίδευσης.

2. Προσαρμοσμένες ακολουθίες

Πρόκειται για αυθαίρετες συμβολοσειρές που ορίζει ο προγραμματιστής για συγκεκριμένη εργασία. Δεν αποτελούν μέρος του λεξιλογίου του μοντέλου, αλλά παρακολουθούνται σε επίπεδο χαρακτήρων. Παραδείγματα περιλαμβάνουν:

• Χαρακτήρες αλλαγής γραμμής: `\n` ή `\n\n` για τερματισμό μετά από παράγραφο.
• Σήμανση πλαισίου: `Human:`, `User:` ή `Q:` για τον διαχωρισμό ρεπλίκ σε διάλογο.
• Ειδικοί δείκτες: `###`, `</output>` ή `END`.

3. Δομικές ακολουθίες

Πρόκειται για εξειδικευμένους δείκτες που χρησιμοποιούνται για την ολοκλήρωση συγκεκριμένων δομικών στοιχείων, κάτι κρίσιμο κατά τη δημιουργία μορφοποιημένου περιεχομένου:

• Κώδικας: τριπλά backtick (```) για την ολοκλήρωση ενός block κώδικα.
• JSON/XML: αγκύλες κλεισίματος (`}`) ή ετικέτες (`</element>`).

Τεχνική υλοποίηση και προβλήματα

Η αποτελεσματική ανίχνευση stop sequence είναι μη τετριμμένη εργασία που συνοδεύεται από σειρά δυσκολιών.

Αλγόριθμος ανίχνευσης και βελτιστοποίηση

Η διαδικασία ανίχνευσης σε πραγματικά συστήματα περιλαμβάνει:

1. Έλεγχος σε κάθε βήμα: Μετά τη δημιουργία κάθε νέου token, το σύστημα ελέγχει αν η τρέχουσα έξοδος τελειώνει με μία από τις καθορισμένες stop sequences.
2. Διαχείριση μερικών αντιστοιχιών: Το σύστημα πρέπει να παρακολουθεί καταστάσεις όπου μέρος της ακολουθίας έχει ήδη παραχθεί, αλλά δεν υπάρχει ακόμα πλήρης αντιστοιχία.
3. Πολυκριτηριακός έλεγχος: Τα περισσότερα συστήματα (π.χ. OpenAI API) επιτρέπουν την παρακολούθηση πολλαπλών (έως τεσσάρων) stop sequences ταυτόχρονα.

Στο framework Hugging Face Transformers, για τον σκοπό αυτό υλοποιείται η αφηρημένη κλάση `StoppingCriteria`, η οποία επιτρέπει τη δημιουργία προσαρμοσμένων κριτηρίων τερματισμού, όπως `MaxLengthCriteria` (βάσει μήκους) ή `EosTokenCriteria` (βάσει EOS token).

Προβλήματα και περιορισμοί

• Πρόβλημα tokenization: Αυτή είναι η κύρια τεχνική δυσκολία. Η ίδια ακολουθία χαρακτήρων (π.χ. `\nUser:`) μπορεί να κατατμηθεί σε token με διαφορετικό τρόπο ανάλογα με το πλαίσιο. Αυτό περιπλέκει την αξιόπιστη ανίχνευση, καθώς η stop sequence μπορεί να κατανέμεται σε πολλά token.
• Απόδοση: Ο έλεγχος πολλών μεγάλων stop sequences σε κάθε βήμα μπορεί να επιβραδύνει τη δημιουργία, ιδιαίτερα κατά την επεξεργασία μακριών ακολουθιών σε πραγματικό χρόνο.
• Ψευδή θετικά: Η καθορισμένη ακολουθία μπορεί τυχαία να εμφανιστεί στη μέση της επιθυμητής απόκρισης, οδηγώντας σε πρόωρη διακοπή. Γι' αυτό είναι σημαντικό να επιλέγονται αρκετά μοναδικοί και εξειδικευμένοι δείκτες (π.χ. `\n###\n`).

Εφαρμογή και σενάρια χρήσης

Οι stop sequences αποτελούν ισχυρό εργαλείο για τον έλεγχο της συμπεριφοράς των LLM.

• Έλεγχος μήκους και κόστους: Επιτρέπουν τον περιορισμό του μέγιστου μεγέθους της απόκρισης και, κατά συνέπεια, τη μείωση της κατανάλωσης token, κάτι σημαντικό κατά τη χρήση επί πληρωμή API.
• Διαλογικά συστήματα: Χρησιμοποιούνται για τον σαφή διαχωρισμό των ρεπλίκ των συνομιλητών, ώστε το μοντέλο-βοηθός να μην παράγει απόκριση για λογαριασμό του χρήστη.
• Δημιουργία δομημένου περιεχομένου: Είναι απαραίτητες για την απόκτηση σωστής εξόδου σε μορφές JSON, XML ή κατά τη συγγραφή κώδικα, αποτρέποντας την προσθήκη περιττών πληροφοριών μετά την ολοκλήρωση της δομής.
• Αποτροπή ανεπιθύμητης συμπεριφοράς: Βοηθούν στη διακοπή της δημιουργίας κατά την εμφάνιση επαναλαμβανόμενου ή εσφαλμένου περιεχομένου (ψευδαισθήσεων).
• Εκπαίδευση και fine-tuning: Στα σύνολα εκπαιδευτικών δεδομένων χρησιμοποιούνται συχνά μοναδικοί δείκτες (π.χ. `###`) ως stop sequence, ώστε το μοντέλο να μάθει να ολοκληρώνει την απόκριση στο κατάλληλο σημείο.

Σύγχρονες κατευθύνσεις έρευνας

• Προσαρμοστικά κριτήρια τερματισμού: Ανάπτυξη μεθόδων που καθορίζουν δυναμικά το σημείο ολοκλήρωσης με βάση το πλαίσιο και την ποιότητα του παραχθέντος κειμένου.
• Εντροπικές προσεγγίσεις: Χρήση της εντροπίας της κατανομής token ως κριτηρίου. Η υψηλή εντροπία μπορεί να υποδηλώνει αβεβαιότητα του μοντέλου και να χρησιμεύει ως σήμα διακοπής της δημιουργίας.

Αναφορές

• Τεκμηρίωση OpenAI για τη χρήση stop sequences
• Τεκμηρίωση Hugging Face για το StoppingCriteria

Βιβλιογραφία

• Sutskever, I.; Vinyals, O.; Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. arXiv:1409.3215.
• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Keskar, N. S. et al. (2019). CTRL: A Conditional Transformer Language Model for Controllable Generation. arXiv:1909.05858.
• Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Brown, T. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Zong, M.; Krishnamachari, B. (2022). A Survey on GPT-3. arXiv:2212.00857.
• Zhao, Y. et al. (2022). Calibrating Sequence Likelihood Improves Conditional Language Generation. arXiv:2210.00045.
• Hu, J. C.; Cavicchioli, R.; Capotondi, A. (2023). A Request for Clarity over the End-of-Sequence Token in the Self-Critical Sequence Training. arXiv:2305.12254.
• Zhu, W. et al. (2024). Improving Open-Ended Text Generation via Adaptive Decoding. arXiv:2402.18223.
• Zhang, H. et al. (2024). Adaptable Logical Control for Large Language Models. arXiv:2406.13892.
• Suh, Y. J. et al. (2025). The Curious Case of Sequentially Mis-calibrated Language Models. arXiv:2205.11916.