Generated Knowledge Prompting (EL)

From Systems analysis Wiki
Jump to navigation Jump to search

Generated Knowledge Prompting (GKP, prompting με παραγωγή γνώσης) — είναι μια μέθοδος prompt engineering, σχεδιασμένη για τη βελτίωση της ικανότητας των μεγάλων γλωσσικών μοντέλων (LLM) να επιλύουν εργασίες που απαιτούν συλλογισμό και στήριξη σε πραγματικές γνώσεις[1]. Η κεντρική ιδέα του GKP είναι να αναγκάσει το μοντέλο να εκτελέσει την εργασία σε δύο στάδια: πρώτα να παράγει ένα σύνολο σχετικών γεγονότων για το θέμα του ερωτήματος, και στη συνέχεια, στηριζόμενο σε αυτές τις γνώσεις, να διατυπώσει την τελική απάντηση[2].

Αυτή η προσέγγιση επιτρέπει στα LLM να ενεργοποιούν και να αξιοποιούν τις εσωτερικές, παραμετρικές γνώσεις τους, οι οποίες είναι σιωπηρά κωδικοποιημένες σε δισεκατομμύρια παραμέτρους, αλλά συχνά δεν είναι προσβάσιμες με τυπικά ερωτήματα. Το GKP αντιμετωπίζει το πρόβλημα κατά το οποίο τα μοντέλα «δεν γνωρίζουν ότι γνωρίζουν», και τα βοηθά να συνδέουν διάσπαρτα γεγονότα για την εξαγωγή σωστού συμπεράσματος[2].

Ιστορία και προέλευση

Η μέθοδος Generated Knowledge Prompting παρουσιάστηκε για πρώτη φορά σε επιστημονικό άρθρο με τίτλο «Generated Knowledge Prompting for Commonsense Reasoning», που εκπονήθηκε από ομάδα ερευνητών υπό την καθοδήγηση του Jiacheng Liu. Η αρχική έκδοση της εργασίας δημοσιεύθηκε στο αρχείο preprint arXiv στις 15 Οκτωβρίου 2021, και η τελική έκδοση παρουσιάστηκε στο γόητρο συνέδριο Association for Computational Linguistics (ACL) το 2022[1].

Το GKP αποτέλεσε μία από τις πρώτες και πλέον σημαντικές μεθόδους που πρότειναν αλλαγή του παραδείγματος αλληλεπίδρασης με τα LLM, μετατοπίζοντας την εστίαση από τη μονοφασική παραγωγή απάντησης σε μια διφασική γνωστική διαδικασία.

Διφασικός μηχανισμός λειτουργίας

Ο μηχανισμός GKP διαχωρίζει την πολύπλοκη εργασία σε δύο απλούστερες υποδιαδικασίες: την εξαγωγή σχετικών πληροφοριών και τη μετέπειτα χρήση τους για εξαγωγή συμπεράσματος.

Στάδιο 1: Παραγωγή γνώσης (Knowledge Generation)

Στο πρώτο στάδιο χρησιμοποιείται ένα γλωσσικό μοντέλο («γεννήτρια γνώσης») για τη δημιουργία αρκετών (M) αποσπασμάτων γνώσης που είναι σχετικά με το αρχικό ερώτημα. Αυτή η διαδικασία ξεκινά με τη χρήση της τεχνικής few-shot prompting, όπου στο μοντέλο παρέχονται μερικά παραδείγματα για εκπαίδευση «εντός πλαισίου».

Το prompt για την παραγωγή γνώσης έχει αυστηρά καθορισμένη δομή:

  1. Οδηγία: Γενική εντολή, για παράδειγμα: «Παράγε μερικά γεγονότα για το θέμα».
  2. Επιδεικτικά παραδείγματα: Μερικά ζεύγη «ερώτημα-γνώση» γραμμένα από ανθρώπους. Αυτά τα παραδείγματα παίζουν κρίσιμο ρόλο, καθώς εκπαιδεύουν το μοντέλο στο ποιος τύπος πληροφορίας θεωρείται χρήσιμος. Παράλληλα, η παραγόμενη γνώση δεν πρέπει να περιέχει απευθείας την απάντηση.
  3. Νέο ερώτημα: Το αρχικό αίτημα του χρήστη, για το οποίο είναι απαραίτητο να παραχθεί γνώση.

Για ένα ερώτημα παράγονται M παραλλαγές γνώσης (στην αρχική εργασία M=20), ώστε να ληφθεί ένα ποικίλο σύνολο γεγονότων για το δεύτερο στάδιο[1].

Στάδιο 2: Ενσωμάτωση γνώσης και διαμόρφωση απάντησης (Knowledge Integration)

Στο δεύτερο στάδιο χρησιμοποιείται ένα διαφορετικό γλωσσικό μοντέλο («μοντέλο εξαγωγής συμπερασμάτων»), το οποίο μπορεί να λειτουργεί είτε σε λειτουργία zero-shot είτε να έχει υποστεί fine-tuning για συγκεκριμένη εργασία.

Η διαδικασία ενσωμάτωσης πραγματοποιείται ως εξής:

  1. Επαύξηση ερωτήματος: Το αρχικό ερώτημα (q) συνδυάζεται διαδοχικά με καθένα από τα M παραγόμενα αποσπάσματα γνώσης (km). Ως αποτέλεσμα δημιουργούνται M+1 επαυξημένα ερωτήματα (συμπεριλαμβανομένου του αρχικού ερωτήματος χωρίς γνώση).
  2. Αξιολόγηση και επιλογή απάντησης: Το μοντέλο εξαγωγής συμπερασμάτων αξιολογεί την υπό συνθήκη πιθανότητα κάθε πιθανής παραλλαγής απάντησης (a) για κάθε επαυξημένο ερώτημα. Τελική απάντηση γίνεται εκείνη η παραλλαγή που έλαβε την υψηλότερη εκτίμηση πιθανότητας τουλάχιστον σε ένα από τα ερωτήματα.

Αυτός ο διφασικός μηχανισμός εισάγει ένα είδος μεταγνωστικής διαδικασίας: «Πριν απαντήσεις, σκέψου και διατύπωσε τι γνωρίζεις για αυτό το θέμα».

Αποτελεσματικότητα και αποτελέσματα δοκιμών

Η αποτελεσματικότητα του GKP ελέγχθηκε σε σειρά ακαδημαϊκών benchmark για την αξιολόγηση συλλογισμού βάσει κοινής λογικής. Η μέθοδος έδειξε σημαντική βελτίωση της απόδοσης σε σύγκριση με τις βασικές προσεγγίσεις.

Σύνοψη αποτελεσμάτων GKP στα κύρια benchmark (δεδομένα από Liu et al., 2022)[1]
Όνομα benchmark Εργασία Ακρίβεια βασικού μοντέλου (%) Ακρίβεια με GKP (%) Κέρδος (%)
NumerSense Αριθμητική κοινή λογική 64.05 72.47 +8.42
CommonsenseQA Γενική κοινή λογική 39.89 47.26 +7.37
CommonsenseQA 2.0 Γενική κοινή λογική 70.20 73.03 +2.83
QASC Επιστημονική κοινή λογική 76.74 80.33 +3.59

Το μεγαλύτερο κέρδος παρατηρείται σε λειτουργία zero-shot, γεγονός που αποδεικνύει την ικανότητα του GKP να ενεργοποιεί αποτελεσματικά τις εσωτερικές γνώσεις του μοντέλου χωρίς πρόσθετο fine-tuning.

Συγκριτική ανάλυση με άλλες τεχνικές

GKP vs. Chain-of-Thought (CoT)

Η βασική διαφορά μεταξύ GKP και Chain-of-Thought (CoT) έγκειται στον τύπο των παραγόμενων πληροφοριών:

  • GKP παράγει δηλωτική γνώση — γεγονότα, ορισμούς, ισχυρισμούς για τον κόσμο («τι»). Παρέχει στο μοντέλο επιπλέον πλαίσιο.
  • CoT παράγει διαδικαστική γνώση — λογικά βήματα, υπολογισμούς, αλληλουχία συμπερασμάτων («πώς»). Παρέχει στο μοντέλο μια διαδρομή συλλογισμού.

Έτσι, το GKP παρέχει την πραγματολογική βάση, ενώ το CoT παρέχει τη λογική δομή εξαγωγής συμπεράσματος[3].

GKP vs. Retrieval-Augmented Generation (RAG)

Σε αντίθεση με το GKP, η μέθοδος Retrieval-Augmented Generation (RAG) χρησιμοποιεί εξωτερικές, μη παραμετρικές πηγές γνώσης.

  • GKP χρησιμοποιεί εσωτερικές γνώσεις που το μοντέλο απέκτησε κατά την εκπαίδευση. Αναγκάζει το μοντέλο να «θυμηθεί» αυτά που ήδη γνωρίζει.
  • RAG χρησιμοποιεί εξωτερικές γνώσεις από βάσεις δεδομένων, έγγραφα ή το διαδίκτυο. Αναγκάζει το μοντέλο να «αναζητήσει» πληροφορίες στον εξωτερικό κόσμο.

Η επιλογή μεταξύ GKP και RAG εξαρτάται από την εργασία: το GKP είναι αποτελεσματικό όταν οι απαιτούμενες γνώσεις είναι κοινώς γνωστές και καλά αναπαριστώνται στα δεδομένα εκπαίδευσης, ενώ το RAG είναι αναντικατάστατο για εξειδικευμένα, πρόσφατα ή ιδιόκτητα δεδομένα.

Περιορισμοί και κίνδυνοι

  • Πρόβλημα «ψευδαισθήσεων»: Ο κύριος κίνδυνος του GKP είναι η πιθανότητα παραγωγής λανθασμένων γεγονότων. Εάν στο πρώτο στάδιο το μοντέλο παράγει ένα ψευδή ισχυρισμό, στο δεύτερο στάδιο αυτός θα γίνει αποδεκτός ως αληθινός, οδηγώντας σε μια σίγουρη αλλά εντελώς λανθασμένη απάντηση.
  • Υπολογιστικό κόστος: Η μέθοδος απαιτεί πολλαπλές κλήσεις στο LLM (M+1 κλήσεις για ένα ερώτημα), γεγονός που αυξάνει σημαντικά τον χρόνο απόκρισης (latency) και το κόστος χρήσης σε σύγκριση με τον τυπικό prompting.
  • Πολυπλοκότητα ανάπτυξης prompt: Η αποτελεσματικότητα του GKP εξαρτάται σε μεγάλο βαθμό από την ποιότητα των few-shot παραδειγμάτων, η δημιουργία των οποίων αποτελεί μη τετριμμένη και χρονοβόρα εργασία.

Εξέλιξη και υβριδικές προσεγγίσεις

Οι ιδέες που διατυπώθηκαν στο GKP υπήρξαν καταλύτης για την ανάπτυξη πιο σύνθετων και αξιόπιστων τεχνικών prompting, όπως:

  • Hint-before-Solving (HSP): Ο άμεσος εννοιολογικός διάδοχος του GKP, που εφαρμόζει τη διφασική αρχή («πρώτα γνώση, μετά δράση») όχι σε μια απλή απάντηση, αλλά σε μια πιο σύνθετη διαδικασία συλλογισμού στο CoT[4].
  • Verify-and-Edit (VE): Ένα υβριδικό framework που αποτελεί απάντηση στο πρόβλημα των «ψευδαισθήσεων» στο GKP και το CoT. Το VE πρώτα παράγει μια αλυσίδα συλλογισμών (όπως το CoT), στη συνέχεια επαληθεύει αυτόματα τα βασικά γεγονότα μέσω εξωτερικής αναζήτησης (όπως το RAG) και επεξεργάζεται τους συλλογισμούς πριν από την παραγωγή της τελικής απάντησης[5].

Σύνδεσμοι

  • Generated Knowledge Prompting στον Οδηγό Prompt Engineering

Βιβλιογραφία

  • Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
  • Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
  • Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
  • Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
  • Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
  • Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
  • Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
  • Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
  • Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467

Παραπομπές

  1. ↑ 1.0 1.1 1.2 1.3 Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. [1]
  2. ↑ 2.0 2.1 Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». arXiv preprint arXiv:2110.08387. [2]
  3. ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv preprint arXiv:2201.11903. [3]
  4. ↑ Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». arXiv preprint arXiv:2402.14310. [4]
  5. ↑ Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». arXiv preprint arXiv:2305.03268. [5]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generated_Knowledge_Prompting_(EL)&oldid=2581"