Graph of Thoughts (TL)

Graph-of-Thoughts (GoT) — ito ay isang konsepto sa larangan ng pakikipagtulungan sa malalaking language model (LLM, Large Language Models), na nagmumungkahi ng paglalarawan sa proseso ng pag-iisip ng modelo bilang isang arbitrary na graph ng magkakaugnay na "kaisipan" (mga pansamantalang hakbang sa solusyon). Ang pamamaraang ito ay iminungkahi ng isang pangkat ng mga mananaliksik sa ilalim ng pamumuno ni Maciej Besta mula sa ETH Zurich at nailathala noong 2024 sa kumperensya ng AAAI. Ang layunin ng Graph-of-Thoughts ay palawakin ang mga kakayahan ng prompt engineering (pagbuo ng mga kahilingan) nang higit pa sa mga umiiral na pamamaraan, tulad ng Chain-of-Thought (tanikala ng mga kaisipan) at Tree-of-Thoughts (puno ng mga kaisipan). Hindi tulad ng mga ito, ang pamamaraan ng GoT ay nagpapahintulot sa anumang fragment ng pag-iisip na nabuo ng modelo (kaisipan) na mag-refer sa alinmang iba pa, na bumubuo ng isang network ng mga ideya, sa halip na isang mahigpit na linear o tree-structured na istruktura. Ito, ayon sa mga may-akda, ay mas tumpay na sumasalamin sa kumplikado at hindi linear na katangian ng pag-iisip ng tao at potensyal na inilalapit ang mekanismo ng pag-iisip ng LLM sa pagtatrabaho ng utak ng tao (na may mga recurrent na koneksyon ng neural).

Ang Graph-of-Thoughts ay isang paraan ng pagbubuo ng mga kahilingan (prompting framework), ibig sabihin, hindi nito kailangan ang karagdagang pagsasanay o fine-tuning ng mismong modelo — sa halip, inaayos nito ang diyalogo sa LLM sa isang espesyal na paraan, ginagabayan ang modelo sa pamamagitan ng isang serye ng mga hakbang-"kaisipan" na nakakonekta ayon sa pamamaraan ng isang graph. Ang ganitong istruktura ay nagpapahintulot na pagsamahin at muling gamitin ang iba't ibang sanga ng pag-iisip: halimbawa, maaaring sabay-sabay na isaalang-alang ng modelo ang ilang mga hipotesis o bahagi ng gawain, at pagkatapos ay pagsamahin ang pinaka-matagumpay sa kanila sa iisang solusyon. Sa encyclopedic na istilo, ang Graph-of-Thoughts ay maaaring tukuyin bilang isang pagpapalawak ng mga naunang estratehiya ng structured na pag-iisip gamit ang LLM, na nagbibigay ng pinakamataas na kakayahang umangkop sa pag-oorganisa ng mga proseso ng pag-iisip sa loob ng isang kumplikadong kahilingan.

Mga Paunang Kondisyon: Chain-of-Thought at Tree-of-Thoughts

Ang pamamaraan ng Graph-of-Thoughts ay lumago mula sa mga naunang pamamaraan na gumagamit ng malinaw na istruktura ng pag-iisip sa pakikipagtulungan sa mga language model. Ang pangunahing pamamaraan ay ang Chain-of-Thought (CoT) – "tanikala ng mga kaisipan". Sa pamamaraang CoT, ang gumagamit ay hinihikayat na isama sa kahilingan sa modelo hindi lamang ang kondisyon ng gawain, kundi pati na rin ang mga pansamantalang hakbang ng pag-iisip na humahantong sa sagot. Ipinakita ng mga pananaliksik na ang ganitong paraan ng pagpapakita ng materyal ay makabuluhang nagpapabuti sa kakayahan ng LLM na malutas ang mga kumplikadong gawain, tulad ng mga problemang matematikal o lohikal na palaisipan, nang walang pagbabago sa mga parameter ng mismong modelo. Sa katunayan, ang CoT ay nagpapahimok sa modelo na hakbang-hakbang na paghiwalayin ang isang kumplikadong problema sa mas simpleng mga yugto, na ginagaya ang sunud-sunod na takbo ng mga kaisipan.

Ang pagpapaunlad ng ideyang ito ay naging pamamaraan ng Self-Consistency: sa halip na isang tanikala ng mga kaisipan, maraming independiyenteng tanikala ang nalilikha, pagkatapos ay pinipili ang pinaka-kapani-paniwalang isa sa kanila. Nagbibigay-daan ito sa modelo na isaalang-alang ang iba't ibang paraan ng paglutas at binabawasan ang panganib na makakuha ng maling sagot dahil sa pagsunod sa iisang maling linya ng pag-iisip. Gayunpaman, kahit na maraming mga tanikala ng CoT ay hindi nagbibigay ng pagkakataon na "pagsamahin ang mga ideya": ang bawat tanikala ay isinasaalang-alang nang hiwalay, at ang modelo ay pumipili lamang ng pinakamahusay, nang hindi pinagsasama ang kanilang nilalaman.

Upang malampasan ang limitasyong ito, iminungkahi ang pamamaraan ng Tree-of-Thoughts (ToT) – "puno ng mga kaisipan". Sa ToT, ang proseso ng pag-iisip ay inayos bilang isang puno: sa bawat punto, maaaring lumikha ang modelo ng ilang mga pagpipilian para sa pagpapaunlad ng kaisipan (mga sangay), pagkatapos ay sinusuri ang mga pansamantalang estado na ito at pinipili ang pinakaprometedor para sa karagdagang pagpapalalim. Gamit ang paghahanap sa puno (halimbawa, sa lapad — BFS, o sa lalim — DFS) at ang kakayahang bumalik sa mga node at bumuo ng isa pang sangay, ang Tree-of-Thoughts ay nagbibigay sa language model ng isang mas makapangyarihang mekanismo ng paglutas ng mga kumplikadong gawain kaysa sa linear na CoT. Lumilitaw ang mga bagong pagkakataon, tulad ng pag-atras at muling pagsusuri: kung ang isang sangay ay humahantong sa isang dead end, maaaring bumalik sa nakaraang node at subukan ang ibang daan. Ang pamamaraang ito ay nagpatunay ng bisa nito sa paglutas ng mga lohikal at paghahanap na gawain, kung saan ang pag-enumerate ng mga pagpipilian at pagpaplano ay may malaking papel.

Gayunpaman, ang puno ng mga kaisipan ay nagpapataw rin ng mahigpit na mga limitasyon: ang bawat kaisipan (node ng puno) ay nabibilang lamang sa isang sangay, ang pakikipag-ugnayan ay nagaganap lamang sa pagitan ng mga parent at child node, at ang iba't ibang mga sangay ay hindi maaaring pagsamahin o magpalitan ng impormasyon. Sa madaling salita, ang cross-pollination ng mga ideya sa pagitan ng iba't ibang mga hipotesis sa loob ng isang solusyon ay mahirap: ang mga sangay ng puno ay nabubuo nang independiyente at pinagsasama lamang sa ugat, kapag pinili ang pinakamahusay na tanikala ng pag-iisip. Sa tunay na malikhaing o analitikal na pag-iisip, ang tao ay madalas na bumabalik sa isang dating isinaalang-alang na ideya at pinagsasama ito sa isa pang sangay ng pag-iisip. Ang ganitong pagpapalawak ng mga kaisipan ay lumalagpas sa istruktura ng puno.

Ang mga obserbasyon na ito ay nagdala sa mga mananaliksik sa ideya ng isang mas nababaluktot na istruktura — isang graph, kung saan ang mga koneksyon sa pagitan ng mga kaisipan ay hindi limitado at maaaring bumuo ng isang kumplikadong network. Tulad ng napansin sa analytical review ng 2024, ang paglitaw ng mga tanikala, puno at graph ng mga kaisipan ay sumasalamin sa pagsilang ng isang bagong klase ng mga pamamaraan na maaaring makabuluhang palakasin ang mga kakayahan ng LLM sa pamamagitan ng malinaw na pag-istruktura ng proseso ng pag-iisip. Sa partikular, ang mga structured na prompt ay nagpahintulot ng kapansin-pansing pagpapabuti ng mga resulta ng LLM sa maraming larangan — mula sa paglutas ng mga problemang matematikal at lohikal na palaisipan hanggang sa pagpaplano at maging sa malikhaing pagsulat. Sa pangkalahatang kontekstong ito, lumitaw ang pamamaraan ng Graph-of-Thoughts bilang susunod na hakbang sa pagpapaunlad ng mga pamamaraan ng structured prompting.

Konsepto ng Graph-of-Thoughts: Istruktura ng Graph ng mga Kaisipan

Ang Graph-of-Thoughts ay nagmumungkahi ng paglalarawan sa takbo ng pagpapatupad ng mga gawain ng language model sa anyo ng isang arbitrary na directed graph. Pormal na, ang graph ng mga kaisipan sa GoT ay isang hanay ng mga vertex (mga kaisipan) at mga edge (mga dependency sa pagitan ng mga kaisipan). Ang vertex ng graph ay kumakatawan sa isang hiwalay na kaisipan ng modelo — ang terminong ito ay tumutukoy sa anumang makabuluhang yunit na depende sa konteksto ng gawain: maaaring ito ay isang hiwalay na pahayag, hakbang ng solusyon, fragment ng teksto, talata, bloke ng code, atbp., na nabuo ng modelo bilang tugon sa kahilingan. Ang edge sa pagitan ng mga vertex ay nangangahulugang isang kaisipan ay ginamit sa paglikha ng isa pa — ibig sabihin, malinaw na ipinahiwatig sa prompt na ang modelo ay dapat umasa sa isang tiyak na nakaraang resulta upang makakuha ng bago. Kaya naman, ang mga edge ay nagtatala ng mga dependency: sa kung anong mga dating nakuhang data nakasalalay ang kasalukuyang hakbang ng pag-iisip.

Ang pinakamahalagang pagkakaiba ng GoT mula sa mas simpleng mga istruktura ay ang posibilidad ng aggregation at pagsasama ng mga kaisipan. Sa graph, pinahihintulutan na ang isang vertex (bagong kaisipan) ay maaaring magkaroon ng ilang mga predecessor. Ito ay katumbas ng sitwasyon kung saan dalawa o higit pang hiwalay na mga tanikala ng pag-iisip ay pinagsasama: ang modelo ay tumatanggap bilang input ng ilang mga dating nabuong fragment at sa batayan ng mga ito ay bumubuo ng isang synthesized na konklusyon. Halimbawa, sa paglutas ng isang gawain, maaaring sabay-sabay na isaalang-alang ng modelo ang dalawang hipotesis, at pagkatapos ay lumikha ng bagong kaisipan na pinagsasama ang mga positibong aspeto ng parehong hipotesis at inaalis ang kanilang mga disadvantage. Ang mga ganitong operasyon ng aggregation ay imposible sa loob ng tree-structured na pamamaraan (kung saan ang bawat node ay mayroon lamang isang parent), ngunit natural na naisakatuparan sa graph-structured. Bukod sa pagsasama ng mga ideya, ang graph ay nagpapahintulot na ipakilala ang mga feedback loop: sa prinsipyo, ang istruktura ng GoT ay hindi nagbabawal ng mga cycle, ibig sabihin, maaaring ibalik ng modelo ang isang resulta sa isang mas maagang yugto ng pag-iisip para sa muling pagproseso o pagpino. Iniuugnay ng mga may-akda ito sa analohiya sa mga recurrent na koneksyon sa mga neural network ng utak, kung saan ang output ng isang grupo ng mga neuron ay maaaring makaimpluwensya pabalik sa mga nakaraang layer, na bumubuo ng mga closed na circuit ng pag-iisip.

Sa praktikal, ang pagpapatupad ng Graph-of-Thoughts ay nangangailangan ng espesyal na organisasyon ng diyalogo sa modelo. Ang mga mananaliksik ay bumuo ng isang modular na architectural framework para sa GoT. Kabilang dito ang mga component para sa: (1) pinong kontrol sa mga indibidwal na hakbang (kaisipan) — pinamamahalaan ng "controller" ang pagkakasunud-sunod at lohika ng paglikha ng mga kaisipan; (2) dynamic na pagbubuo ng mga prompt — para sa bawat hakbang, ang isang espesyal na module ay bumubuo ng prompt batay sa kasalukuyang konteksto at mga napiling vertex ng graph (mga predecessor); (3) pag-parse at pagtatasa ng mga tugon ng modelo — ang mga fragment na natanggap mula sa LLM ay sinusuri at tinatasa para sa kalidad, kapaki-pakinabang, o pagsunod sa mga pamantayan ng gawain. Ang arkitektura ng GoT ay nagpapahintulot kaya naman na interactive na magtayo ng graph ng pag-iisip: pagkatapos ng bawat hakbang, ang desisyon ay ginagawa kung aling mga bagong vertex ang idagdag, kung paano ikonekta ang mga ito sa mga nauna, kung aling mga sangay ang ipagpatuloy o pagsamahin. Salamat sa modularity, ang ganitong framework ay maaaring palawakin ng mga bagong uri ng "transformasyon ng mga kaisipan" (halimbawa, mga espesyal na operasyon sa graph) at iakma sa iba't ibang mga modelo (matagumpay na sinubukan ng mga may-akda ang GoT gamit ang mga LLM ng mga pamilyang GPT-3.5, GPT-4, LLAMA 2, at iba pa). Ang isang mahalagang katangian ay na ang GoT ay hindi nangangailangan ng pagbabago ng mga parameter ng mismong language model — ang lahat ng pagpapabuti ay nakakamit sa pamamagitan ng mas matalinong pagbuo ng mga kahilingan at pagproseso ng mga tugon. Nangangahulugan ito na ang mga umiiral na makapangyarihang LLM ay maaaring gamitin "tulad ng sila," at ang Graph-of-Thoughts ay gumaganap ng papel ng isang superstructure na namamahala ng kanilang trabaho.

Dapat pansinin na ang termino Graph-of-Thought ay lumitaw din sa isa pang, independiyenteng pag-unlad, na naiiba sa pamamaraan ng Besta at mga kasamahan. Noong 2023, si Yao Yao at mga kasamahan ay nagmungkahi ng isang pamamaraan para sa pagpapabuti ng reasoning sa LLM sa pamamagitan ng isang karagdagang encoder module ng graph ng mga kaisipan, na nangangailangan ng karagdagang pagsasanay ng modelo. Ang kanilang trabaho sa ilalim ng pamagat na "Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models" ay naglalarawan ng isang two-stage na arkitektura: una, isang graph ng magkakaugnay na mga pansamantalang pahayag ang nalilikha, pagkatapos ay ito ay binabago ng isang espesyal na encoder at isinama sa modelo sa pamamagitan ng mekanismo ng gated fusion. Ang ganitong hybrid na pamamaraan na may pagsasanay ay nagpakita ng ilang pagtaas ng katumpakan sa mga gawain, halimbawa, sa multimodal na hanay ng mga tanong na ScienceQA ang katumpakan ay tumaas mula 85.2% hanggang 87.6% gamit ang modelong T5-base. Gayunpaman, ang pamamaraang ito, kahit na magkapareho ang pangalan, ay pundamental na naiiba: nangangailangan ito ng pagbabago ng modelo (fine-tuning) at hindi isang pamamaraan ng prompt engineering. Ang mga may-akda ng orihinal na pamamaraan ng GoT (AAAI 2024) ay direktang nagtatangi na hindi nila isinasaalang-alang sa kanilang trabaho ang modelong iyon ni Yao at iba pa, dahil nakatutok sila sa mga pamamaraan nang walang pag-update ng mga parameter ng LLM. Kaya naman, ang Graph-of-Thoughts sa konteksto ng pagsusuring ito ay isang framework sa antas ng prompt, at hindi isang pagbabago ng arkitektura ng neural network.

Aplikasyon at Mga Resulta

Ipinakita ng mga may-akda ng GoT ang mga kalamangan nito sa ilang mga gawain na mahirap malutas gamit ang isang direktang prompt (input-output prompting) o kahit sa isang tanikala ng mga kaisipan. Ang katangiang tampok ng mga ganitong gawain ay maaari silang hatiin sa ilang mga bahagi (mga subtask), lutasin ang mga bahaging ito nang hiwalay, at pagkatapos ay i-synthesize ang kumpletong sagot mula sa mga bahagiang resulta. Kabilang sa mga isinaalang-alang na halimbawa: pag-uuri ng isang walang ayos na listahan, pagbibilang ng mga susing salita sa teksto (halimbawa, para sa pagbubuod ng isang dokumento), pagsasagawa ng mga operasyon sa mga set (unyon, intersection ng mga listahan, atbp.), pati na rin ang pagsasama ng mga tekstong dokumento (pagsasama ng impormasyon mula sa ilang mga pinagkukunan). Sa lahat ng mga kasong ito, ang Graph-of-Thoughts ay nagpapahintulot na natural na i-decompose ang gawain. Halimbawa, para sa pag-uuri, ang listahan ay nahahati sa mga bahagi, ang bawat bahagi ay hiwalay na inuri bilang isang independiyenteng sangay ng mga kaisipan, pagkatapos ay pinagsasama ang mga resulta (na ginagaya ang isang algorithm tulad ng merge sort); o sa pagsusuri ng mga teksto, ang modelo ay maaaring sabay-sabay na kumuha ng impormasyon mula sa iba't ibang mga dokumento, at pagkatapos ay pinagsasama ito.

Mga eksperimental na resulta ay nagpapatunay ng bisa ng pamamaraan ng GoT. Ayon sa ulat ng Besta at mga kasamahan, sa gawain ng pag-uuri, ang graph ng mga kaisipan ay nagpahintulot ng makabuluhang pagpapabuti ng kalidad ng solusyon kumpara sa mga naunang pamamaraan. Kaya, ang katumpakan ng pag-uuri sa paggamit ng GoT ay naging 70% na mas mataas kaysa sa simpleng tanikala ng mga kaisipan CoT, at 62% na mas mataas kaysa sa puno ng mga kaisipan ToT. Sabay nito, ang pamamaraan ay nagpapababa ng gastos ng mga mapagkukunan sa pagkalkula: ang bilang ng mga pagtatanong sa modelo (at, nang naaayon, ang dami ng tokenized na mga kahilingan) ay bumaba ng 31% kumpara sa Tree-of-Thoughts para sa parehong gawain. Nangangahulugan ito na ang graph-organized na pag-iisip ay hindi lamang nagpabuti ng panghuling resulta, kundi ginawa rin ang solusyon na mas matipid, na umiiwas sa mga hindi kinakailangang kalkulasyon sa pamamagitan ng matalinong pagsasama ng mga pansamantalang konklusyon. Ang mga katulad na kalamangan ay nakuha rin sa iba pang mga pagsubok na gawain, lalo na doon kung saan kailangan ang pag-aggregate ng magkakaibang impormasyon. Naniniwala ang mga mananaliksik na ang GoT ay pinakaepektibo para sa mga composite na gawain na binubuo ng ilang mga elemento: "Ang Graph-of-Thoughts ay partikular na angkop para sa mga gawain na natural na nadedecompose sa mas maliliit na subtask na nalulutas nang hiwalay na may kasunod na pagsasama ng mga resulta". Sa mga ganitong kaso, ang graph ng mga kaisipan ay kayang sumaklob sa lahat ng aspeto ng problema at i-synthesize ang isang solusyon ng mas kumpletong katangian kaysa sa pagsunod sa isang linya ng pag-iisip.

Para sa mas malalim na pag-unawa kung bakit ang isang paraan ng pagbuo ng prompt ay mas mahusay kaysa sa isa pa, sa trabaho ng 2024 ay iminungkahi ang isang espesyal na sukatan — ang "dami ng kaisipan" (volume of a thought). Ang dami ay tinukoy para sa bawat indibidwal na kaisipan (vertex ng graph) bilang ang bilang ng iba pang mga kaisipan mula sa kung saan maaaring maabot ang ibinigay (sa madaling salita, sa gaanong karaming mga pansamantalang hakbang ito may utang ang sarili nitong impormasyon). Sa Chain-of-Thought, ang anumang kaisipan ay umaaasa lamang sa isang predecessor, kaya ang dami nito ay katumbas ng 1 (linear na tanikala). Sa puno ng mga kaisipan, ang dami ay maaaring mas mataas, ngunit palagi pa ring limitado ng istruktura ng isang hiwalay na sangay. Sa graph naman, salamat sa aggregation, ang isang hiwalay na vertex ay maaaring mag-akumula ng kontribusyon ng marami pang iba — ang "dami" nito ay makabuluhang mas mataas. Ipinakita na ang GoT ay nagpapahintulot sa mga panghuling konklusyon na mabatay sa isang makabuluhang mas malaking dami ng mga nakaraang kaisipan, pinagsasama ang kanilang nilalaman. Ang katotohanang ito ay sumasalamin sa mas malalim na saklaw ng espasyo ng mga solusyon at nagsisilbing dami ng paliwanag ng mga kalamangan ng graph-structured na pag-iisip kumpara sa mas simpleng mga pamamaraan.

Paghahambing at Kahalagahan

Ang Graph-of-Thoughts ngayon ay kumakatawan sa pinaka-generalized na anyo ng structured prompting para sa LLM. Sa mga talahanayan ng paghahambing ng iba't ibang mga pamamaraan (CoT, CoT na may self-consistency, ToT at GoT) ay binibigyang-diin na ang GoT lamang ang sumusuporta sa arbitrary na topology ng proseso ng pag-iisip. Kabilang dito ang mga kakayahan ng lahat ng mga nakaraang pamamaraan: maaari itong gumana bilang isang tanikala, bilang isang puno na may mga sangay, at bilang isang kumbinasyon ng maraming mga tanikala, kung ito ay angkop para sa paglutas ng gawain. Ang pangunahing bagay ay walang mahigpit na mga limitasyon sa koneksyon sa pagitan ng mga hakbang, na teoretically ay ginagawang pinaka-malawak ang espasyo ng mga posibleng estratehiya ng pag-iisip.

Mahalaga na maunawaan na ang kakayahang umangkop ng GoT ay may kasamang mas malaking kumplikasyon ng kontrol. Ang pagpapatupad ng graph ng mga kaisipan ay nangangailangan ng isang panlabas na algorithm-orchestrator, na magdedesisyon kung kailan at kung aling mga kaisipan ang lilikha, kung alin sa kanila ang pipiliin o pagsasamahin, kung kailan ititigil ang proseso at maglalabas ng sagot. Sa simpleng CoT, ang mga ganitong desisyon ay hindi kailangang gawin — ang modelo mismo ay naglilikha ng linear na pag-iisip hanggang sa katapusan. Sa ToT, ang bahagi ng kontrol ay nakapatong sa algorithm ng paghahanap sa puno (halimbawa, ang pagpili ng node para sa pag-unlad). Sa GoT naman, ang antas ng kalayaan ay mas mataas, at ang bisa ng pamamaraan ay depende sa kalidad ng mga heuristic na nagtatasa ng mga pansamantalang resulta, at sa tamang pagbuo ng mga prompt sa bawat hakbang. Kaya naman, ang Graph-of-Thoughts ay maaaring ituring hindi lamang bilang isang format ng kahilingan, kundi bilang isang istruktura ng pag-iisip na ipinapataw sa proseso ng pakikipag-ugnayan sa LLM — isang uri ng dynamic na plano kung saan lulutas ang modelo ng gawain, at ang gumagamit (o ang controller program) ay gumagabay sa prosesong ito.

Ang paglitaw ng Graph-of-Thoughts ay sumasalamin sa pagnanais na gawing mas malinaw at mapamamahalaan ang trabaho ng malalaking language model. Sa malinaw na pagtatakda ng istruktura ng solusyon, ang mga mananaliksik ay hindi lamang nakakamit ng mas mahusay na kalidad, kundi nakakakuha rin ng pagkakataon na suriin kung paano nakaabot ang modelo sa isang partikular na konklusyon. Inilalapit nito ang mga pamamaraan sa NLP sa mga klasikal na pamamaraan ng algorithmic na paghahanap at pagpaplano, ngunit ngayon ang pagpapatupad ng mga hakbang ay nakabatay sa isang neural network na modelo. Ang ilang mga eksperto ay itinuturing ang mga structured na prompt (mga tanikala, puno, graph ng mga kaisipan) bilang isang promising na direksyon na kayang malampasan ang mga limitasyon ng "black box" sa mga malalim na modelo at mapataas ang pagiging maaasahan ng kanilang trabaho sa mga kumplikadong gawain.

Ang metodolohiya ng Graph-of-Thoughts ay patuloy na aktibong umuunlad. Ang code at mga halimbawa para sa pagpapatupad ng GoT ay inilabas ng mga may-akda sa pampublikong access, na nagpahintulot sa komunidad na mag-eksperimento sa bagong pamamaraan. Lumilitaw din ang mga extension: halimbawa, ang mga multimodal na bersyon ng graph ng mga kaisipan, na pinagsasama ang teksto sa mga imahe at iba pang uri ng data, pati na rin ang mga pagtatangka na direktang isama ang mga ideya ng GoT sa arkitektura ng mga modelo (tulad ng nabanggit na trabaho ng Yao et al., 2023). Noong 2025, isang detalyadong review-taxonomy ng mga pamamaraan ng Chain-of-Thought, Tree-of-Thoughts at Graph-of-Thoughts ang nalathala, na nag-sistematisa ng naipon na kaalaman at naglalarawan ng mga teoretikal na pundasyon ng mga ganitong pamamaraan. Lahat ng ito ay nagpapakita ng malaking interes ng siyentipikong komunidad sa structured na pamamahala ng pag-iisip ng LLM. Ang Graph-of-Thoughts ay nagpatunay na ng sarili bilang isang epektibong instrumento para sa paglutas ng mga kumplikadong gawain at malamang ay magiging pundasyon para sa karagdagang mga inobasyon sa larangan ng mga AI na solusyon na pinagsasama ang kapangyarihan ng malalaking language model sa transparency at lohika ng mga klasikal na algorithm.

Mga Sanggunian

• Orihinal na artikulo na "Graph of Thoughts: Solving Elaborate Problems with Large Language Models" sa arXiv
• HTML na bersyon ng orihinal na artikulo
• Pagsusuri na "Demystifying Chains, Trees, and Graphs of Thoughts" sa arXiv
• Artikulo na "Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models" sa arXiv
• Multimodal Graph-of-Thoughts — artikulo ng Deepgram
• LLMs Graph of Thoughts Framework — artikulo sa Medium

Talasanggunian

• Besta, M. et al. (2024). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Yao, Y. et al. (2023). Beyond Chain-of-Thought: Effective Graph-of-Thought Reasoning in Language Models. arXiv:2305.16582.
• Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2024). Demystifying Chains, Trees, and Graphs of Thoughts. arXiv:2401.14295.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models (Kosmos-1). arXiv:2302.14045.
• Mitra, C. et al. (2024). Compositional Chain-of-Thought Prompting for Large Multimodal Models. In CVPR 2024. PDF.
• Zheng, G. et al. (2023). DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models. arXiv:2310.16436.
• Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467.