ReAct Prompting (TL)

ReAct (pinaikli mula sa Reason + Act, sa Ingles — "Mag-isip at Kumilos") — isang paradigma ng pagdisenyo ng mga prompt (prompting) para sa malalaking language model (LLM), na nagbibigay-daan sa kanila na malutas ang mga kumplikadong gawain sa pamamagitan ng paghalili ng berbal na pangangatuwiran (mga kaisipan) at mga aksyon na nakikipag-ugnayan sa panlabas na kapaligiran. Ang pamamaraan ay iminungkahi noong 2022 ng mga mananaliksik mula sa Google Research at Princeton University at naging pangunahing diskarte sa pagpapaunlad ng mga matalinong ahente.

Ang pangunahing inobasyon ng ReAct ay ang pagsasama ng lohikal na pangangatuwiran, na katangian ng mga teknikang tulad ng Chain-of-Thought (CoT), sa pagpapatupad ng mga panlabas na aksyon, tulad ng paghahanap ng impormasyon o pakikipag-ugnayan sa mga software interface (API). Nagbibigay-daan ito sa modelo na dynamic na baguhin ang sarili nitong plano, suriin ang mga katotohanan, at malampasan ang mga limitasyon ng sarili nitong, madalas na lipas na o hindi kumpleto, kaalaman.

Mga Paunang Kondisyon at Kasaysayan ng Paglikha

Bago lumabas ang ReAct, mayroon nang dalawang pangunahing, ngunit magkahiwalay na diskarte sa paggamit ng LLM para sa paglutas ng mga kumplikadong gawain:

• Kadena ng Pangangatuwiran (Chain-of-Thought, CoT): Ang modelo ay bumubuo ng mga hakbang-hakbang na lohikal na pangangatuwiran para malutas ang isang gawain, ngunit ginagawa ito sa isang "impormasyon na bakuran", umaasa lamang sa sarili nitong panloob na kaalaman. Madalas itong nagdudulot ng mga katotohaning pagkakamali at "mga hallucination".
• Pagpaplano ng Aksyon (Act-Only): Ang modelo ay bumubuo ng isang pagkakasunod-sunod ng mga aksyon para makipag-ugnayan sa panlabas na kapaligiran (halimbawa, sa mga text game), ngunit walang malinaw na mataas na antas ng pagpaplano. Ang ganitong mga sistema ay mahina sa mga pagkakamali at hindi makakaangkop ng kanilang estratehiya kapag naharap sa mga hindi inaasahang sitwasyon.

Ang ReAct ay nilikha para sa synergistic na pagsasama ng mga kalakasan ng parehong diskarte. Pinapayagan nito ang modelo na hindi lamang mag-isip, kundi iangkla rin ang sarili nitong pangangatuwiran sa mga katotohanan mula sa panlabas na mundo, at iaangkop din ang mga aksyon nito batay sa natanggap na feedback.

Mekanismo ng Paggana: Ikot ng "Kaisipan — Aksyon — Obserbasyon"

Ang ReAct ay gumagana sa loob ng isang umuulit na ikot na kinabibilangan ng tatlong pangunahing bahagi. Ang modelo ay sunud-sunod na bumubuo ng isang trajectory na binubuo ng mga hakbang na Thought, Action, at Observation.

Halimbawa ng estruktura ng prompt:

Tanong: Ano ang kabisera ng lungsod kung saan ipinanganak ang imbentor na kilala sa alternating current?

Thought 1: Kailangan kong malaman kung sino ang nag-imbento ng alternating current. Pagkatapos ay hanapin ang lugar ng kanyang kapanganakan at suriin kung ang lungsod na iyon ay isang kabisera.

Action 1: Search[imbentor ng alternating current]

Observation 1: Ang alternating current (AC) ay binuo at pino-promote ni Nikola Tesla.

Thought 2: Kailangan ko na ngayong malaman kung saan ipinanganak si Nikola Tesla.

Action 2: Search[lugar ng kapanganakan ni Nikola Tesla]

Observation 2: Si Nikola Tesla ay ipinanganak sa nayon ng Smiljan, Imperyong Austriyano (modernong Croatia).

Thought 3: Ang Smiljan ay hindi isang kabisera. Kaya, ang tanong ay walang malinaw na sagot sa ganitong pagbabago. Gayunpaman, matagal na nanirahan at nagtrabaho si Tesla sa USA. Posibleng tinutukoy ang kabisera ng bansang kung saan siya gumawa ng kanyang mga pangunahing natuklasan. Ito ay mas kumplikadong tanong. Dapat kong sabihin ang katotohanan batay sa lugar ng kapanganakan. Ang lungsod ng kanyang kapanganakan ay hindi isang kabisera.

Final Answer: Ang imbentor na kaugnay ng alternating current, si Nikola Tesla, ay ipinanganak sa Smiljan (Croatia), na hindi isang kabisera.

Kaisipan (Thought)

Ang modelo ay bumubuo ng panloob na pangangatuwiran kung saan sinusuri nito ang gawain, dini-decompose ito sa mga subtask, binubuo o inaayos ang plano ng aksyon, at tinatasa ang kasalukuyang estado. Ang hakbang na ito ay hindi nakaka-apekto sa panlabas na kapaligiran, ngunit nagsisilbing panloob na pagpaplano.

Aksyon (Action)

Batay sa sarili nitong pangangatuwiran, ang modelo ay gumaganap ng isang panlabas na aksyon, na tumutukoy sa isa sa mga magagamit na kasangkapan. Mga halimbawa ng mga aksyon:

• Search [query] — para maghanap ng impormasyon sa isang knowledge base (halimbawa, Wikipedia).
• Click [elemento] — para sa nabigasyon sa isang web page.
• API_call [mga parameter] — para tumawag ng panlabas na API.

Obserbasyon (Observation)

Ang sistema o panlabas na kasangkapan ay nagsasagawa ng aksyon at nagbabalik ng resulta (obserbasyon). Maaari itong maging isang fragment ng teksto, sagot ng API, o mensahe ng error. Ginagamit ng modelo ang obserbasyon na ito upang bumuo ng susunod na kaisipan, na nagpapalapat ng feedback loop.

Mga Eksperimental na Resulta at Bisa

Sinubukan ng mga may-akda ng ReAct ang pamamaraan sa malawak na hanay ng mga gawain, na ipinakita ang kahigitan nito kumpara sa CoT at Act-Only na mga diskarte.

Mga Resulta ng ReAct kumpara sa mga pangunahing pamamaraan sa mga pangunahing benchmark

Benchmark	Gawain	ReAct (tagumpay/katumpakan)	Chain-of-Thought (tagumpay/katumpakan)	Act-Only (tagumpay/katumpakan)
FEVER	Pagsusuri ng mga katotohanan	87.6%	82.8%	70.1%
HotpotQA	Mga tanong na may maraming hakbang	31.8%	36.3%	17.0%
ALFWorld	Text game (pagpaplano)	71%	10%	13%
WebShop	Web navigation	40%	-	30.1%

• Sa mga gawaing nangangailangan ng pagsusuri ng mga katotohanan (FEVER), ang ReAct ay malaki ang lamang kumpara sa CoT, dahil makakaberipika ito ng impormasyon.
• Sa mga gawaing may interactive na pagpaplano (ALFWorld, WebShop), ang ReAct ay nagpapakita ng malaking kalamangan, dahil makakaangkop ito sa nagbabagong kapaligiran.
• Sa mga gawaing may purong pangangatuwiran (HotpotQA), ang CoT ay maaaring magpakita ng katulad o maging mas magandang mga resulta. Gayunpaman, ang hybrid na diskarte na ReAct+CoT ay nagpakita ng pinakamataas na performance, na umabot sa 35% sa HotpotQA.

Kritisismo at mga Limitasyon

Sa kabila ng bisa nito, ang ReAct ay may ilang mga limitasyon at kahinaan.

• "Karupukan" (Brittleness): Ipinakita ng mga susunod na pananaliksik na ang tagumpay ng ReAct ay maaaring hindi dahil sa tunay na synergy ng pangangatuwiran at aksyon, kundi dahil sa sintaktikong pagkakatulad sa pagitan ng mga halimbawa sa prompt at ng kasalukuyang gawain. Ang modelo ay maaaring sumunod sa template na `Thought-Action-Observation` nang hindi ganap na nauunawaan ang semantika ng pangangatuwiran.
• Mga Gastos sa Pagkalkula: Ang bawat ikot ng ReAct ay nangangailangan ng kahit isang tawag sa LLM at isang pagtawag sa panlabas na kasangkapan, na ginagawa itong mabagal at mahal kumpara sa karaniwang prompting.
• Pag-asa sa mga Kasangkapan: Ang bisa ng ahente ay direktang nakasalalay sa kalidad at pagiging maaasahan ng mga magagamit na kasangkapan. Ang isang maling o magulong tugon mula sa API ay maaaring magdala ng pangangatuwiran ng modelo sa maling landas.

Kahalagahan at Karagdagang Pag-unlad

Ang ReAct ay naging mahalagang tagapagmarkahan sa pag-unlad ng AI, na nagmamarka ng paglipat mula sa mga generative na sistema patungo sa mga agentive na sistema. Inilatag nito ang konsepto at praktikal na pundasyon para sa karamihan ng mga modernong framework para sa paglikha ng mga ahente, tulad ng:

• LangChain
• LlamaIndex
• AutoGen

Ang mga ideya ng ReAct ay nagsilbing panimulang punto para sa mas kumplikadong mga arkitektura ng pangangatuwiran, tulad ng Reflexion (nagdadagdag ng ikot ng self-reflection pagkatapos ng mga kabiguan) at Tree of Thoughts (ToT) (nag-eeksplora ng maraming landas ng pangangatuwiran nang sabay-sabay).

Mga Sanggunian

• Opisyal na pahina ng proyekto ng ReAct
• Paglalarawan ng ReAct sa gabay ng Learn Prompting
• Google Research (2022). ReAct: Synergizing Reasoning and Acting in Language Models (blog post). Google Research Blog.

Panitikan

• Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Shinn, N. et al. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. arXiv:2303.11366.
• Verma, V. et al. (2024). On the Brittle Foundations of ReAct Prompting for Agentic Large Language Models. arXiv:2405.13966.
• Yao, S. et al. (2022). WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents. arXiv:2207.01206.
• Shridhar, M. et al. (2020). ALFWorld: Aligning Text and Embodied Environments for Interactive Learning. arXiv:2010.03768.
• Qin, L. et al. (2023). AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Collaboration. arXiv:2308.08155.
• Thorne, J. et al. (2018). FEVER: A Large-Scale Dataset for Fact Extraction and Verification. arXiv:1803.05355.
• Yang, Z. et al. (2018). HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering. arXiv:1809.09600.