Meta Prompting (TL)

Meta Prompting (Ingles: meta-prompting) — ito ay isang advanced na pamamaraan ng prompt engineering, kung saan ginagamit ang malalaking language model (LLM) upang lumikha, mag-ayos, at mag-optimize ng sarili nilang mga instruksyon (prompt). Hindi tulad ng mga tradisyunal na pamamaraan, kung saan manu-manong sinusulat ng tao ang detalyadong mga instruksyon, ang meta-prompting ay nakatuon sa pagtatakda ng estruktura ng paglutas ng gawain at ng mga papel na dapat gampanan ng modelo. Sa madaling salita, inilalarawan nito ang kung paano lutasin ang gawain, at hindi ang kung ano ang eksaktong gagawin sa bawat partikular na kaso.

Ang pamamaraang ito ay nagbibigay-daan sa LLM na mag-decompose ng mga kumplikadong problema nang nagsasarili, pinuhin ang mga kahilingan, at paulit-ulit na pagbutihin ang sariling mga sagot, na nagbubukas ng daan patungo sa paglikha ng mas autonomous at adaptive na mga sistema ng artipisyal na katalinuhan.

Mga Pangunahing Pamamaraan at Pananaw

Ang termino na "meta-prompting" ay naging laganap sa siyentipikong panitikan sa huling bahagi ng 2023 – simula ng 2024, nang nagpresenta ang ilang grupo ng mga mananaliksik ng magkakaparehong pamamaraan sa pamamahala ng LLM.

Scaffolding - Pamamaraan ng "Scaffolding"

Isa sa mga pangunahing pamamaraan ay iminungkahi ng mga mananaliksik mula sa Stanford University at OpenAI. Sa shemang ito, na pinangalanang scaffolding, ang iisang language model (GPT-4 sa mga eksperimento) ay gumaganap ng ilang papel nang sabay-sabay:

• Direktor (Conductor): Tumatanggap ng mataas na antas na meta-prompt at binibigyan ng detalye ang kumplikadong gawain sa isang serye ng mas simpleng mga sub-gawain.
• Mga Eksperto (Experts): Sinimulan ng "Direktor" ang ilang kopya ng sarili nito bilang "mga eksperto", kung saan ang bawat isa ay lulutas ng hiwalay na sub-gawain ayon sa espesyal na itinakdang mga instruksyon.
• Integrasyon: Kino-coordinate ng "Direktor" ang gawain ng "mga eksperto" at isinasama ang kanilang mga sagot sa isang panghuling solusyon.

Ang ganitong orchestration approach ay nagbigay-daan sa makabuluhang pagpapataas ng kahusayan sa paglutas ng mga kumplikadong gawain. Halimbawa, sa mga eksperimento, ang meta-prompting ay nakahigit sa mga ordinaryong isang-hakbang na query ng 17.1% at sa iba pang advanced na pamamaraan ng 15–17% sa mga hanay ng gawain na nangangailangan ng multi-component reasoning (halimbawa, ang laruan na "24", mga palaisipan sa chess). Mahalaga na ang pamamaraang ito ay may katangiang task-agnostic at gumagana sa zero-shot mode, hindi nangangailangan ng mga tiyak na halimbawa para sa bawat bagong gawain.

Teoretikal na Pananaw at mga Istrukturang Template

Sabay na iminungkahi ng isang grupo ng mga mananaliksik mula sa Tsinghua University ang sarili nilang konsepto ng meta-prompting, inilipat ang pokus mula sa nilalaman ng gawain patungo sa syntax at anyo ng presentasyon ng datos. Batay sa categorical model, ipinakita nila na ang abstract na paglalarawan ng estruktura ng problema ay nagbibigay-daan sa modelo na bumuo ng mga pangangatwiran na malapit sa lalim ng mga pangangatwiran ng tao, at epektibong i-decompose ang mga kumplikadong tanong sa mas simpleng mga hakbang.

Mga Kaugnay na Konsepto

Ang mga ideya ng meta-prompting ay makikita rin sa iba pang mga pamamaraan:

• Automatic Prompt Engineer (APE): Isang pamamaraan kung saan ang LLM ay awtomatikong gumagawa at pumipili ng mga epektibong instruksyon para sa sarili nito, sinusuri ang mga ito ayon sa kalidad ng nakukuhang mga resulta.
• Self-Refine: Isang pamamaraan kung saan ang modelo ay paulit-ulit na pinapabuti ang sarili nitong sagot, kritikal na sinusuri ang nakaraang bersyon at gumagawa ng mga pagwawasto batay sa kritikang iyon.

Paggamit at mga Kalamangan

Ipinakita ng meta-prompting ang mataas na kahusayan sa mga gawaing nangangailangan ng kumplikadong multi-component reasoning, tulad ng mga patunay sa matematika, programming, at hakbang-hakbang na paglutas ng mga palaisipan. Mga pangunahing kalamangan ng pamamaraan:

• Token-efficiency: Ang pagtuon sa pangkalahatang estruktura ng gawain sa halip na paglilista ng maraming halimbawa ay nagpapababa ng dami ng prompt. Ang meta-prompt ay kumakatawan sa isang universal na template na nangangailangan ng mas kaunting token.
• Katatagan at kawalan ng pagkiling: Iniiwasan ng pamamaraan ang pag-asa sa mga tiyak na halimbawa, na ginagawang hindi gaanong madaling impluwensyahan ng modelo ang mga partikularidad ng mga training sample.
• Dinamikong adaptasyon: Hindi tulad ng static na prompt, pinapayagan ng meta-prompting ang paulit-ulit na pagpapabuti. Maaaring pinuhin ng modelo ang mga instruksyon habang tinutugunan ang gawain, humiling ng nawawalang impormasyon, at baguhin ang estratehiya.
• Generalisasyon sa mga bagong gawain: Ang mga mataas na antas na instruksyon ay mas madaling ilipat sa mga bago, hindi pa nakitang gawain, na ginagawang isang pinahusay na anyo ng zero-shot approach ang meta-prompting.

Mga Limitasyon at Panganib

• Gastos at kumplikasyon ng mga kalkulasyon: Ang pamamaraan ay nangangailangan ng maraming beses na pag-access sa modelo para sa isang gawain, na nagpapataas ng gastos sa oras at mga API request. Ang mga kasalukuyang implementasyon ay gumagana nang sunod-sunod, na nagpapahirap sa parallelization.
• Pag-asa sa kakayahan ng modelo: Ang kahusayan ng meta-prompting ay lubos na nakasalalay sa kalidad ng base LLM. Ipinakita ng mga pananaliksik na halos walang nakukuhang benepisyo ang GPT-3.5 mula sa pamamaraang ito, habang para sa GPT-4 at mga mas bagong modelo, ang benepisyo ay kapansin-pansing mas malaki.
• Mga pundamental na limitasyon ng LLM: Ang meta-prompting ay hindi pangkalahatang lunas. Kung ang gawain ay lumagpas sa hangganan ng kaalaman ng base model, kahit ang perpektong nabuong meta-prompt ay hindi ginagarantiyahang tamang resulta. Sa ganitong mga kaso, kailangan ang fine-tuning o integrasyon sa mga panlabas na kasangkapan (halimbawa, paghahanap sa internet o interpreter ng code).

Mga Sanggunian

• Halimbawa ng meta-prompting sa OpenAI Cookbook
• Paglalarawan ng pamamaraan sa Prompt Engineering Guide

Panitikan

• Suzgun, M.; Kalai, A. T. (2024). Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding. arXiv:2401.12954.
• Zhang, Y.; Yuan, Y.; Yao, A. C.-C. (2023). Meta Prompting for AGI Systems. arXiv:2311.11482.
• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Ning, X. et al. (2023). Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation. arXiv:2307.15337.
• Chen, X. et al. (2023). Universal Self-Consistency for Large Language Model Generation. arXiv:2311.17311.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
• Zhou, P. et al. (2024). Self-DISCOVER: Large Language Models Self-Compose Reasoning Structures. arXiv:2402.03620.
• Chen, J. et al. (2024). Thought-Augmented Reasoning with Large Language Models. arXiv:2406.04271.