Core prompt engineering techniques (TL)

Prompt Engineering ay sumasaklaw sa iba't ibang teknik at pamamaraan na naglalayong i-optimize ang pakikipag-ugnayan sa malalaking language model (LLM) upang makamit ang nais na resulta. Ang mga pamamaraang ito ay may kaugnayan sa pagbuo ng istraktura ng mga kahilingan, pagbibigay ng konteksto, pamamahala ng estilo ng output, at pagpapahusay ng kakayahan ng modelo sa pangangatuwiran. Dahil ang mga LLM ay gumagawa ng tugon sa pamamagitan ng paghula ng mga susunod na token batay sa input prompt, ang kalidad at istraktura ng prompt na ito ay direktang nakakaapekto sa resulta. Ang mga pangunahing pamamaraan ng prompt engineering ay nagbibigay-daan sa mga developer at gumagamit na epektibong pamahalaan ang gawi ng modelo, bawasan ang mga pagkakamali, at iaangkop ito sa mga tiyak na gawain nang hindi kinakailangang baguhin ang mga panloob na parameter ng modelo.

Mga Pangunahing Prinsipyo at Istraktura ng Prompt

Kahit ang mga tiyak na implementasyon ay nag-iiba-iba, ang mga epektibong prompt ay kadalasang binubuo batay sa mga karaniwang prinsipyo at istraktura:

• Mga Empirikal na Gabay: Bilang isa sa mga praktikal na istraktura (ngunit hindi pamantayan ng industriya), iminumungkahi na sundin ang mga sumusunod na prinsipyo: Magbigay ng Direksyon, Tukuyin ang Format, Magbigay ng mga Halimbawa, Suriin ang Kalidad, at Hatiin ang Gawain.
• Ang isang epektibong prompt ay kadalasang naglalaman ng mga sumusunod na bahagi:
  • Panimula/Papel: Nagtatakda ng konteksto ng gawain o papel/persona ng modelo.
  • Mga Tagubilin: Malinaw na mga direksyon kung ano ang dapat gawin.
  • Konteksto: Kinakailangang impormasyon (static o dinamikong kinukuha sa pamamagitan ng RAG).
  • Mga Halimbawa (Few-shot): Pagpapakita ng nais na format/estilo.
  • Kahilingan ng Tugon: Malinaw na pahiwatig kung ano ang dapat na buuin ng modelo.

• System Prompt: Sa mga chat interface ng API (halimbawa, sa mga modelo ng OpenAI, Anthropic) ay nagbibigay-daan na itakda ang mga pangkalahatang tagubilin at papel para sa buong session.
• Pag-format: Ang paggamit ng Markdown, JSON, XML, o YAML ay nakatutulong sa pagbubuo ng istraktura ng prompt at nagpapadali ng pag-parse ng tugon. Ang mga separator (```, `"""`, XML tag) ay mahalaga para sa paghihiwalay ng mga tagubilin mula sa data.

Mga Pangunahing Teknik sa Tagubilin at Halimbawa

• Malinaw at Tiyak na mga Tagubilin: Ilarawan nang may pinakamataas na katumpakan ang gawain, nais na resulta, at mga limitasyon. Iwasan ang kalabuan.
• Role Prompting: Ang pagtatalaga ng papel sa modelo ("Ikaw ay isang eksperto sa...") para sa pamamahala ng tono, estilo, at base ng kaalaman.
• Zero-shot Prompting: Kahilingan nang walang mga halimbawa. Epektibo para sa mga simpleng gawain o mga gawaing pamilyar sa modelo.
• Few-Shot Prompting: Pagbibigay ng ilang (karaniwang 2 hanggang 5) halimbawa ng "tanong-sagot" upang ipakita ang gawain. Ang isang partikular na kaso ay ang One-shot Prompting na may isang halimbawa. Lalo na kapaki-pakinabang para sa mga kumplikadong format o estilo. Nangangailangan ng pag-iingat upang maiwasan ang pagkiling (anchoring) o ang pagkuha ng maling pattern mula sa mga halimbawa.

Mga Teknik sa Pamamahala ng Konteksto

• Retrieval-Augmented Generation (RAG): Dinamikong pagdaragdag ng kaugnay na impormasyon mula sa mga panlabas na base ng kaalaman sa prompt bago ipadala sa LLM. Unang iminungkahi ng Meta AI noong 2020, ang pamamaraang ito ay susi sa paglaban sa mga hallucination at pagtitiyak ng kasalukuyang datos.
• Chunking: Pagputol ng malalaking teksto sa mas maliliit na bahagi (chunk) upang mapasok sa context window ng modelo. Ang mga estratehiya ay kinabibilangan ng pagputol ayon sa pangungusap, talata, o token (na may overlap).
• Sumarisasyon: Pag-compress ng mahahabang teksto o kasaysayan ng diyalogo upang maihatid ang pangunahing kahulugan sa loob ng limitadong konteksto.

Mga Teknik sa Pagpapahusay ng Pangangatuwiran (Reasoning)

Ang mga teknik na ito ay naglalayong pilitin ang modelo na "mag-isip" nang mas maingat at may istraktura. Ang bisa ng marami sa mga ito, lalo na ang CoT, ay nahahayag sa mga modelo ng malaking sukat (karaniwang higit sa 100 bilyong parameter).

• Chain-of-Thought (CoT): Tagubilin sa modelo na bumuo ng hakbang-hakbang na pangangatuwiran bago ang panghuling sagot. Malaki ang pagpapabuti sa mga resulta sa matematika, lohika, at mga gawain na may maraming yugto.
  • Zero-shot CoT: Ang pinakasimpleng anyo, hindi nangangailangan ng mga halimbawa. Ang pagdaragdag ng parirala tulad ng «Mag-isip tayo ng hakbang-hakbang» (Let's think step by step) sa prompt ay maaari nang magsimula ng chain ng pangangatuwiran.
• Mga Variation ng CoT:
  • Auto-CoT: Awtomatikong pagbuo ng mga halimbawa ng pangangatuwiran para sa few-shot prompting.
  • Self-Consistency: Pagbuo ng maraming chain ng pangangatuwiran at pagpili ng pinakakaraniwang sagot sa pamamagitan ng "pagboto", na nagpapataas ng pagiging maaasahan.
  • Tree-of-Thoughts (ToT): Pagsisiyasat ng maraming landas ng pangangatuwiran sa anyo ng puno, na may kakayahang bumalik at suriin ang mga intermediate na hakbang. Ang teknik na ito ay nagpapakita ng mataas na bisa sa mga kumplikadong gawain, halimbawa, pinapataas ang tagumpay ng paglutas ng "Game of 24" mula ~4% hanggang ~74%.
  • Graph-of-Thought (GoT), LogiCoT at iba pa, na naglalayong sa mas kumplikado o lohikal na na-verify na pangangatuwiran.
• ReAct (Reason and Act): Teknik na nagpapalawak ng CoT. Kumakatawan sa isang iteratibong siklo kung saan ang modelo ay nagpapalit ng mga hakbang ng Pangangatuwiran (Thought) at Aksyon gamit ang mga Kasangkapan (Act), na ina-update ang sariling pag-unawa batay sa mga Obserbasyon (Observation).
• Self-Refine: Isang iteratibong proseso kung saan ang modelo ay unang bumubuo ng sagot, pagkatapos ay pinupuna ito, at sa wakas ay pinapabuti batay sa sariling kritisismo. Ang siklong "pagbuo-kritisismo-pagpapabuti" na ito ay maaaring ulitin nang ilang beses.
• Take a Step Back Prompting: Ang modelo ay unang bumubuod ng mga pangkalahatang prinsipyo o abstraksiyon, at pagkatapos ay inilalapat ang mga ito sa tiyak na gawain.

Mga Advanced na Teknik: Mga Ahente at Kasangkapan

• Tool Usage / Function Calling: Pagbibigay sa LLM ng kakayahang tumawag sa mga panlabas na API (paghahanap, calculator, database). Ang modelo ay bumubuo ng nakaistrakturang kahilingan para sa pagtawag ng kasangkapan, na isinasagawa ng aplikasyon, at ang resulta ay ibinalik sa modelo. Ang mga modernong LLM (GPT-4, Claude 3) ay may built-in na suporta para sa function na ito.
• Mga Ahente (Agents): Mga sistema batay sa LLM na maaaring awtonomong mag-plano, gumamit ng mga kasangkapan, at kumilos upang makamit ang layunin. Kadalasang gumagamit ng mga siklong katulad ng ReAct. Ang mga framework (LangChain, AutoGen, CrewAI) ay nagpapadali ng kanilang paglikha.
• Mga Multi-agent na Sistema: Pakikipag-ugnayan ng ilang espesyalisadong ahente para sa paglutas ng mga kumplikadong gawain.

Mga Teknik sa Pagbabawas ng mga Pagkakamali at Hallucination

• RAG: Pagsasangkot ng mga sagot sa mga nakuhang maaasahang datos.
• Mga Tagubilin sa Paglilimita ng Sagot: Pangangailangan na sumagot lamang batay sa ibinigay na konteksto o ipahiwatig ang kawalan ng katiyakan ("Kung hindi alam ang sagot, sabihin 'Hindi ko alam'").
• Kahilingan ng Pagsipi: Pangangailangan sa modelo na tukuyin ang mga pinagmulan o sipiin ang mga bahagi ng konteksto kung saan batay ang sagot.
• Pag-verify at Sariling Kritisismo: Paggamit ng mga teknik tulad ng Chain-of-Verification (CoVe) (pagbuo ng sagot na sinusundan ng pag-verify at pagwawasto nito), Self-Refine, o direktang kahilingan sa modelo na suriin ang sariling sagot para sa mga pagkakamali.
• CoT: Ang hakbang-hakbang na pangangatuwiran mismo ay maaaring mabawasan ang mga lohikal na pagkakamali.

Mga Teknik sa Pagtatasa at Iterasyon

Kahit ang pagtatasa ay isang hiwalay na proseso, ang ilang aspeto nito ay bahagi ng prompt engineering:

• A/B Pagsubok ng mga Prompt: Paghahambing ng bisa ng iba't ibang bersyon ng mga prompt sa parehong mga gawain.
• Paggamit ng LLM para sa Pagtatasa: Paggamit ng makapangyarihang modelo (halimbawa, GPT-4) upang suriin ang kalidad ng mga sagot na binuo ng ibang prompt o modelo (LLM-as-a-Judge).

Mga Pattern ng Prompt

Mga karaniwang magagamit muli na istraktura:

• Persona Pattern (Pagtatatag ng Persona).
• Output Customization Pattern (Pattern ng Pagpapasadya ng Output).
• Question Refinement Pattern (Pattern ng Paglilinaw ng Katanungan).
• Cognitive Verifier / Self-Critique Pattern (Pattern ng Kognitibong Pag-verify / Sariling Kritisismo).
• Step-by-Step / Chain-of-Thought Pattern (Pattern ng Hakbang-hakbang na Pangangatuwiran).
• Template Pattern (Pattern ng Template).

Panitikan

• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Li, X. L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
• Liu, Y. et al. (2021). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv:2104.08786.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
• Besta, M. et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Schick, T. et al. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. arXiv:2302.04761.
• Rafailov, R. et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. arXiv:2305.18290.
• Wang, Y. et al. (2023). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Chen, S. Y. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
• Chang, K. et al. (2024). Efficient Prompting Methods for Large Language Models: A Survey. arXiv:2404.01077.
• Genkina, D. (2024). AI Prompt Engineering Is Dead. IEEE Spectrum. [1].
• Li, Z. et al. (2024). Prompt Compression for Large Language Models: A Survey. arXiv:2410.12388.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Han, H. et al. (2025). Retrieval-Augmented Generation with Graphs (GraphRAG). arXiv:2501.00309.
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Wu, Z. et al. (2025). The Dark Side of Function Calling: Pathways to Jailbreaking Large Language Models. EMNLP 2025. PDF.
• Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.

Tingnan Din

• Malalaking Language Model
• Chain-of-Thought Prompting
• Mga Hallucination at Maling Tugon ng LLM