Generated Knowledge Prompting (BN)
Generated Knowledge Prompting (GKP, জ্ঞান-উৎপাদনসহ প্রম্পটিং) — এটি prompt engineering-এর একটি পদ্ধতি, যা বৃহৎ ভাষা মডেলগুলির (LLM) যুক্তি-নির্ভর ও তথ্যভিত্তিক সমস্যা সমাধানের সক্ষমতা উন্নত করার জন্য তৈরি করা হয়েছে[1]। GKP-এর মূল ধারণা হলো মডেলকে দুটি ধাপে কাজ করতে বাধ্য করা: প্রথমে প্রশ্নের বিষয়ে প্রাসঙ্গিক তথ্যের একটি সংকলন তৈরি করা, এবং তারপর সেই জ্ঞানের উপর ভিত্তি করে চূড়ান্ত উত্তর প্রণয়ন করা[2]।
এই পদ্ধতিটি LLM-কে তার অভ্যন্তরীণ, প্যারামিটারায়িত জ্ঞান সক্রিয় করতে ও ব্যবহার করতে সক্ষম করে, যা কোটি কোটি প্যারামিটারে অন্তর্নিহিতভাবে এনকোড করা থাকে কিন্তু প্রচলিত প্রশ্নের ক্ষেত্রে প্রায়ই অপ্রাপ্য থাকে। GKP সেই সমস্যার সমাধান করে যেখানে মডেলগুলি \"জানে না যে তারা কী জানে\", এবং সঠিক সিদ্ধান্তে পৌঁছানোর জন্য বিক্ষিপ্ত তথ্যগুলিকে একত্রিত করতে সহায়তা করে[2]।
ইতিহাস ও উৎপত্তি
Generated Knowledge Prompting পদ্ধতিটি প্রথম উপস্থাপিত হয়েছিল \"Generated Knowledge Prompting for Commonsense Reasoning\" শীর্ষক একটি গবেষণাপত্রে, যা Jiacheng Liu-এর নেতৃত্বে একদল গবেষক প্রস্তুত করেছিলেন। কাজটির প্রাথমিক সংস্করণ ২০২১ সালের ১৫ অক্টোবর প্রিপ্রিন্ট আর্কাইভ arXiv-এ প্রকাশিত হয়, এবং চূড়ান্ত সংস্করণ ২০২২ সালে মর্যাদাপূর্ণ Association for Computational Linguistics (ACL) সম্মেলনে উপস্থাপিত হয়[1]।
GKP ছিল প্রথম ও সবচেয়ে গুরুত্বপূর্ণ পদ্ধতিগুলির মধ্যে একটি, যা LLM-এর সাথে মিথস্ক্রিয়ার দৃষ্টান্ত পরিবর্তনের প্রস্তাব দিয়েছিল — তাৎক্ষণিক উত্তর তৈরির পরিবর্তে দুই-ধাপের জ্ঞানীয় প্রক্রিয়ার দিকে মনোযোগ সরিয়ে নিয়ে।
দুই-ধাপের কার্যপ্রণালি
GKP-এর কার্যপ্রণালি একটি জটিল কাজকে দুটি সহজ উপপ্রক্রিয়ায় ভাগ করে: প্রাসঙ্গিক তথ্য নিষ্কাশন এবং সেই তথ্যের পরবর্তী ব্যবহার করে উপসংহারে পৌঁছানো।
ধাপ ১: জ্ঞান উৎপাদন (Knowledge Generation)
প্রথম ধাপে একটি ভাষা মডেল (\"জ্ঞান উৎপাদক\") ব্যবহার করে মূল প্রশ্নের সাথে প্রাসঙ্গিক বেশ কয়েকটি (M) জ্ঞান-খণ্ড তৈরি করা হয়। এই প্রক্রিয়াটি few-shot prompting কৌশলের মাধ্যমে শুরু করা হয়, যেখানে মডেলকে \"প্রসঙ্গের মধ্যে\" শেখার জন্য কয়েকটি উদাহরণ দেওয়া হয়।
জ্ঞান উৎপাদনের prompt-এর একটি সুনির্দিষ্ট কাঠামো রয়েছে:
- নির্দেশনা: সাধারণ নির্দেশ, যেমন: \"বিষয়টি সম্পর্কে কয়েকটি তথ্য তৈরি করো\"।
- প্রদর্শনমূলক উদাহরণ: মানুষের লেখা কয়েকটি \"প্রশ্ন-জ্ঞান\" জুটি। এই উদাহরণগুলি অত্যন্ত গুরুত্বপূর্ণ ভূমিকা পালন করে, কারণ এগুলি মডেলকে শেখায় কোন ধরনের তথ্য উপযোগী বলে বিবেচিত হয়। এ ক্ষেত্রে উৎপাদিত জ্ঞানে সরাসরি উত্তর থাকা উচিত নয়।
- নতুন প্রশ্ন: ব্যবহারকারীর মূল অনুরোধ, যার জন্য জ্ঞান তৈরি করতে হবে।
একটি প্রশ্নের জন্য M ধরনের জ্ঞান তৈরি করা হয় (মূল গবেষণাপত্রে M=20), যাতে দ্বিতীয় ধাপের জন্য বৈচিত্র্যময় তথ্যের একটি সংকলন পাওয়া যায়[1]।
ধাপ ২: জ্ঞান সংযোজন ও উত্তর প্রণয়ন (Knowledge Integration)
দ্বিতীয় ধাপে একটি ভিন্ন ভাষা মডেল (\"অনুমান মডেল\") ব্যবহার করা হয়, যা zero-shot মোডে কাজ করতে পারে বা নির্দিষ্ট কাজের জন্য fine-tuning করা থাকতে পারে।
সংযোজন প্রক্রিয়াটি নিম্নরূপে ঘটে:
- প্রশ্নের অগমেন্টেশন: মূল প্রশ্ন (q) ক্রমানুসারে প্রতিটি M উৎপাদিত জ্ঞান-খণ্ডের (km) সাথে যুক্ত করা হয়। এর ফলে M+1 টি অগমেন্টেড প্রশ্ন তৈরি হয় (জ্ঞান ছাড়া মূল প্রশ্নসহ)।
- উত্তর মূল্যায়ন ও নির্বাচন: অনুমান মডেলটি প্রতিটি অগমেন্টেড প্রশ্নের জন্য প্রতিটি সম্ভাব্য উত্তর বিকল্পের (a) শর্তসাপেক্ষ সম্ভাবনা মূল্যায়ন করে। যে বিকল্পটি অন্তত একটি প্রশ্নে সর্বোচ্চ সম্ভাবনা স্কোর পায়, সেটিই চূড়ান্ত উত্তর হয়।
এই দুই-ধাপের কার্যপ্রণালি একটি ধরনের মেটাকগনিটিভ প্রক্রিয়া চালু করে: \"উত্তর দেওয়ার আগে, ভাবো এবং প্রকাশ করো যে তুমি এই বিষয়ে কী জানো\"।
কার্যকারিতা ও পরীক্ষার ফলাফল
GKP-এর কার্যকারিতা সাধারণ জ্ঞান-ভিত্তিক যুক্তির মূল্যায়নের জন্য বেশ কয়েকটি একাডেমিক benchmark-এ যাচাই করা হয়েছে। পদ্ধতিটি মৌলিক পদ্ধতিগুলির তুলনায় উল্লেখযোগ্য কর্মক্ষমতা উন্নতি দেখিয়েছে।
| Benchmark-এর নাম | কাজ | মৌলিক মডেলের নির্ভুলতা (%) | GKP-সহ নির্ভুলতা (%) | বৃদ্ধি (%) |
|---|---|---|---|---|
| NumerSense | সংখ্যাগত সাধারণ জ্ঞান | 64.05 | 72.47 | +8.42 |
| CommonsenseQA | সাধারণ সাধারণ জ্ঞান | 39.89 | 47.26 | +7.37 |
| CommonsenseQA 2.0 | সাধারণ সাধারণ জ্ঞান | 70.20 | 73.03 | +2.83 |
| QASC | বৈজ্ঞানিক সাধারণ জ্ঞান | 76.74 | 80.33 | +3.59 |
zero-shot মোডে সর্বাধিক বৃদ্ধি লক্ষ্য করা যায়, যা প্রমাণ করে যে GKP অতিরিক্ত fine-tuning ছাড়াই মডেলের অভ্যন্তরীণ জ্ঞান কার্যকরভাবে সক্রিয় করতে পারে।
অন্যান্য কৌশলের সাথে তুলনামূলক বিশ্লেষণ
GKP vs. Chain-of-Thought (CoT)
GKP এবং Chain-of-Thought (CoT)-এর মধ্যে মূল পার্থক্য হলো উৎপাদিত তথ্যের ধরনে:
- GKP উৎপাদন করে ঘোষণামূলক জ্ঞান — তথ্য, সংজ্ঞা, বিশ্ব সম্পর্কে বক্তব্য (\"কী\")। এটি মডেলকে অতিরিক্ত প্রসঙ্গ সরবরাহ করে।
- CoT উৎপাদন করে পদ্ধতিগত জ্ঞান — যৌক্তিক পদক্ষেপ, গণনা, উপসংহারের ক্রম (\"কীভাবে\")। এটি মডেলকে যুক্তির পথ প্রদান করে।
এভাবে, GKP তথ্যগত ভিত্তি সরবরাহ করে, আর CoT উপসংহারের যৌক্তিক কাঠামো প্রদান করে[3]।
GKP vs. Retrieval-Augmented Generation (RAG)
GKP-এর বিপরীতে, Retrieval-Augmented Generation (RAG) পদ্ধতি বাহ্যিক, নন-প্যারামেট্রিক জ্ঞানের উৎস ব্যবহার করে।
- GKP ব্যবহার করে অভ্যন্তরীণ জ্ঞান, যা মডেল প্রশিক্ষণের সময় অর্জন করেছে। এটি মডেলকে যা সে ইতিমধ্যে জানে তা \"মনে করিয়ে দেয়\"।
- RAG ব্যবহার করে বাহ্যিক জ্ঞান ডেটাবেস, ডকুমেন্ট বা ইন্টারনেট থেকে। এটি মডেলকে বাইরের পৃথিবীতে তথ্য \"খুঁজতে\" বাধ্য করে।
GKP এবং RAG-এর মধ্যে পছন্দ কাজের উপর নির্ভর করে: GKP কার্যকর যদি প্রয়োজনীয় জ্ঞান সর্বজনবিদিত হয় এবং প্রশিক্ষণ ডেটায় ভালোভাবে উপস্থাপিত থাকে, যেখানে RAG বিশেষায়িত, সাম্প্রতিক বা মালিকানাধীন ডেটার জন্য অপরিহার্য।
সীমাবদ্ধতা ও ঝুঁকি
- "হ্যালুসিনেশন" সমস্যা: GKP-এর প্রধান ঝুঁকি হলো ভুল তথ্য তৈরির সম্ভাবনা। যদি প্রথম ধাপে মডেল একটি মিথ্যা বক্তব্য তৈরি করে, তাহলে দ্বিতীয় ধাপে তা সত্য হিসেবে গ্রহণ করা হবে, যার ফলে আত্মবিশ্বাসী কিন্তু সম্পূর্ণ ভুল উত্তর পাওয়া যাবে।
- গণনাগত খরচ: পদ্ধতিটির জন্য LLM-এ একাধিকবার অনুরোধ প্রয়োজন (একটি প্রশ্নের জন্য M+1 বার), যা প্রচলিত prompting-এর তুলনায় প্রতিক্রিয়ার সময় (latency) এবং ব্যবহারের খরচ উল্লেখযোগ্যভাবে বাড়িয়ে দেয়।
- Prompt তৈরির জটিলতা: GKP-এর কার্যকারিতা few-shot উদাহরণের মানের উপর ব্যাপকভাবে নির্ভর করে, যা তৈরি করা একটি অ-তুচ্ছ ও শ্রমসাধ্য কাজ।
বিবর্তন ও হাইব্রিড পদ্ধতি
GKP-এ নিহিত ধারণাগুলি আরও জটিল ও নির্ভরযোগ্য prompting কৌশল তৈরির অনুঘটক হিসেবে কাজ করেছে, যেমন:
- Hint-before-Solving (HSP): GKP-এর সরাসরি আদর্শগত উত্তরসূরি, যা দুই-ধাপের নীতি (\"আগে জ্ঞান, তারপর কাজ\") সাধারণ উত্তরে নয়, বরং CoT-এ আরও জটিল যুক্তি প্রক্রিয়ায় প্রয়োগ করে[4]।
- Verify-and-Edit (VE): একটি হাইব্রিড framework, যা GKP এবং CoT-এ \"হ্যালুসিনেশন\" সমস্যার উত্তর। VE প্রথমে একটি যুক্তি-শৃঙ্খল তৈরি করে (CoT-এর মতো), তারপর বাহ্যিক অনুসন্ধানের মাধ্যমে স্বয়ংক্রিয়ভাবে মূল তথ্যগুলি যাচাই করে (RAG-এর মতো) এবং চূড়ান্ত উত্তর তৈরির আগে যুক্তিগুলি সম্পাদনা করে[5]।
তথ্যসূত্র
- Prompt Engineering Guide-এ Generated Knowledge Prompting
গ্রন্থপঞ্জি
- Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
- Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
- Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
- Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
- Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
- Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
- Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
- Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
- Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
- Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467
টীকা
- ↑ 1.0 1.1 1.2 1.3 Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. [১]
- ↑ 2.0 2.1 Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». arXiv preprint arXiv:2110.08387. [২]
- ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv preprint arXiv:2201.11903. [৩]
- ↑ Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». arXiv preprint arXiv:2402.14310. [৪]
- ↑ Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». arXiv preprint arXiv:2305.03268. [৫]