Graph of Thoughts (ID)

Graph-of-Thoughts (GoT) — adalah konsep dalam bidang kerja dengan model bahasa besar (LLM, Large Language Models), yang mengusulkan representasi proses penalaran model dalam bentuk graf sembarang dari «pemikiran» yang saling terhubung (langkah-langkah antara penyelesaian). Pendekatan ini diusulkan oleh sekelompok peneliti yang dipimpin oleh Maciej Besta dari ETH Zurich dan dipublikasikan pada tahun 2024 di konferensi AAAI. Tujuan Graph-of-Thoughts adalah memperluas kemampuan prompt engineering (pengembangan permintaan) melampaui skema yang sudah ada, seperti Chain-of-Thought (rantai pemikiran) dan Tree-of-Thoughts (pohon pemikiran). Berbeda dengan keduanya, pendekatan GoT memungkinkan setiap fragmen penalaran (pemikiran) yang dihasilkan model merujuk ke fragmen mana pun lainnya, membentuk jaringan gagasan, bukan struktur linear atau berbentuk pohon yang ketat. Hal ini, menurut para penulisnya, lebih tepat mencerminkan sifat kompleks dan nonlinear dari pemikiran manusia, serta berpotensi mendekatkan mekanisme penalaran LLM dengan cara kerja otak manusia (dengan koneksi neural rekurennya).

Graph-of-Thoughts adalah metode pembentukan permintaan (prompting framework), artinya tidak memerlukan pelatihan tambahan atau fine-tuning pada model itu sendiri — melainkan mengorganisasi dialog dengan LLM secara khusus, mengarahkan model melalui serangkaian langkah-«pemikiran» yang terhubung dalam skema graf. Struktur seperti ini memungkinkan kombinasi dan penggunaan kembali berbagai cabang penalaran: misalnya, model dapat secara paralel mempertimbangkan beberapa hipotesis atau bagian dari tugas, lalu menggabungkan yang terbaik di antara mereka menjadi satu solusi. Dalam gaya ensiklopedis, Graph-of-Thoughts dapat didefinisikan sebagai generalisasi dari strategi penalaran terstruktur sebelumnya dengan LLM, yang memberikan fleksibilitas maksimal dalam mengorganisasi proses berpikir dalam satu permintaan kompleks.

Prasyarat: Chain-of-Thought dan Tree-of-Thoughts

Metode Graph-of-Thoughts berkembang dari pendekatan-pendekatan sebelumnya yang menggunakan struktur penalaran eksplisit dalam bekerja dengan model bahasa. Pendekatan dasar adalah Chain-of-Thought (CoT) – «rantai pemikiran». Dalam metode CoT, pengguna diajak untuk menyertakan dalam permintaan ke model bukan hanya kondisi tugas, tetapi juga langkah-langkah penalaran antara yang mengarah ke jawaban. Penelitian menunjukkan bahwa cara penyajian seperti ini secara signifikan meningkatkan kemampuan LLM dalam memecahkan tugas-tugas kompleks, misalnya teka-teki matematika atau logika, tanpa mengubah parameter model itu sendiri. Pada dasarnya, CoT mendorong model untuk mengurai masalah kompleks menjadi tahapan yang lebih sederhana secara bertahap, meniru alur pemikiran yang berurutan.

Pengembangan dari gagasan ini adalah teknik Self-Consistency: alih-alih satu rantai pemikiran, dihasilkan beberapa rantai independen, kemudian dipilih yang paling meyakinkan di antara mereka. Hal ini memungkinkan model mempertimbangkan berbagai pendekatan solusi dan mengurangi risiko mendapatkan jawaban yang salah akibat mengikuti satu jalur penalaran yang keliru. Meski demikian, bahkan banyak rantai CoT pun tidak memberikan kemampuan untuk «menggabungkan gagasan»: setiap rantai dipertimbangkan secara terisolasi, dan model hanya memilih yang terbaik tanpa mengombinasikan isinya.

Untuk mengatasi keterbatasan ini, diusulkan skema Tree-of-Thoughts (ToT) – «pohon pemikiran». Dalam ToT, proses penalaran diorganisasi sebagai pohon: di setiap titik model dapat menghasilkan beberapa varian pengembangan pemikiran (percabangan), setelah itu dilakukan penilaian atas keadaan-keadaan antara ini dan seleksi yang paling menjanjikan untuk pendalaman lebih lanjut. Dengan menggunakan pencarian pohon (misalnya, pencarian melebar — BFS, atau pencarian mendalam — DFS) dan kemampuan untuk kembali ke simpul dan mengembangkan cabang lain, Tree-of-Thoughts memberikan model bahasa mekanisme yang lebih kuat untuk memecahkan tugas kompleks dibandingkan CoT linear. Muncul kemungkinan baru, seperti mundur dan meninjau ulang: jika satu cabang menuju jalan buntu, bisa kembali ke simpul sebelumnya dan mencoba jalur lain. Metodologi ini telah terbukti efektif dalam memecahkan tugas-tugas logis dan pencarian, di mana pencacahan varian dan perencanaan memainkan peran besar.

Namun, pohon pemikiran juga menimbulkan batasan yang ketat: setiap pemikiran (simpul pohon) hanya milik satu cabang, interaksi hanya terjadi antara simpul induk dan anak, sedangkan cabang-cabang yang berbeda tidak dapat bergabung atau bertukar informasi. Dengan kata lain, pertukaran silang gagasan (cross-pollination) antara hipotesis-hipotesis berbeda dalam satu solusi menjadi sulit: cabang-cabang pohon berkembang secara independen dan hanya bergabung di akar ketika rantai penalaran terbaik dipilih. Sementara dalam pemikiran kreatif atau analitis nyata, manusia sering kembali ke gagasan yang pernah dipertimbangkan sebelumnya dan mengombinasikannya dengan cabang penalaran lain. Persilangan pemikiran seperti itu melampaui struktur pohon.

Pengamatan ini membawa para peneliti pada gagasan tentang struktur yang lebih fleksibel — graf, di mana hubungan antar pemikiran tidak dibatasi dan dapat membentuk jaringan yang kompleks. Sebagaimana dicatat dalam ulasan analitis tahun 2024, munculnya rantai, pohon, dan graf pemikiran mencerminkan lahirnya kelas metode baru yang mampu secara signifikan memperkuat kemampuan LLM melalui strukturisasi eksplisit proses penalaran. Secara khusus, petunjuk terstruktur memungkinkan peningkatan hasil LLM yang terlihat di banyak bidang — dari pemecahan masalah matematika dan teka-teki logika hingga perencanaan dan bahkan penulisan kreatif. Pada latar belakang umum inilah skema Graph-of-Thoughts muncul sebagai langkah berikutnya dalam pengembangan metode structured prompting.

Konsep Graph-of-Thoughts: Struktur Graf Pemikiran

Graph-of-Thoughts mengusulkan representasi jalannya pelaksanaan tugas oleh model bahasa dalam bentuk graf terarah sembarang. Secara formal, graf pemikiran dalam GoT adalah sekumpulan simpul (pemikiran) dan sisi (ketergantungan antar pemikiran). Simpul graf mewakili sebuah pemikiran model terpisah — istilah ini mengacu pada satuan bermakna apa pun yang bergantung pada konteks tugas: bisa berupa pernyataan tersendiri, langkah solusi, fragmen teks, paragraf, blok kode, dan sebagainya, yang dihasilkan model sebagai respons terhadap permintaan. Sisi antara simpul berarti bahwa satu pemikiran digunakan dalam proses menghasilkan pemikiran lain — yaitu, dalam petunjuk secara eksplisit disebutkan bahwa model harus berpijak pada hasil sebelumnya tertentu untuk menghasilkan yang baru. Dengan demikian, sisi-sisi merekam ketergantungan: data apa yang diperoleh sebelumnya yang menjadi dasar langkah penalaran saat ini.

Perbedaan terpenting GoT dari struktur yang lebih sederhana adalah kemungkinan agregasi dan penggabungan pemikiran. Dalam graf, diperbolehkan bahwa satu simpul (pemikiran baru) dapat memiliki beberapa pendahulu. Ini sesuai dengan situasi ketika dua atau lebih rantai penalaran terpisah digabungkan: model menerima sebagai masukan beberapa fragmen yang telah dihasilkan sebelumnya dan atas dasar itu membentuk kesimpulan yang disintesis. Misalnya, dalam memecahkan suatu tugas, model dapat secara paralel mempertimbangkan dua hipotesis, kemudian membuat pemikiran baru yang menggabungkan sisi positif dari kedua hipotesis dan menghilangkan kekurangannya. Operasi agregasi semacam itu tidak mungkin dilakukan dalam skema berbentuk pohon (di mana setiap simpul hanya memiliki satu induk), namun secara alami dapat dilaksanakan dalam skema berbentuk graf. Selain penggabungan gagasan, graf juga memungkinkan diperkenalkannya umpan balik (feedback loops): pada prinsipnya, struktur GoT tidak melarang siklus, yaitu model dapat mengembalikan suatu hasil ke tahap penalaran sebelumnya untuk pemrosesan ulang atau penyempurnaan. Para penulis mengaitkan ini dengan analogi koneksi rekuren dalam jaringan neural otak, di mana keluaran dari satu kelompok neuron dapat memengaruhi kembali lapisan-lapisan sebelumnya, membentuk kontur pemikiran yang tertutup.

Secara praktis, implementasi Graph-of-Thoughts memerlukan pengorganisasian dialog dengan model secara khusus. Para peneliti telah mengembangkan kerangka arsitektur modular untuk GoT. Di dalamnya terdapat komponen-komponen untuk: (1) kontrol halus atas langkah-langkah individual (pemikiran) — «kontroler» mengelola urutan dan logika pembuatan pemikiran; (2) pembentukan petunjuk secara dinamis — untuk setiap langkah, modul khusus membentuk prompt berdasarkan konteks saat ini dan simpul-simpul graf yang dipilih (pendahulu); (3) penguraian dan penilaian respons model — fragmen-fragmen yang diterima dari LLM dianalisis dan dinilai berdasarkan kualitas, kegunaan, maupun kesesuaiannya dengan kriteria tugas. Arsitektur GoT dengan demikian memungkinkan pembangunan graf penalaran secara interaktif: setelah setiap langkah, dibuat keputusan simpul baru mana yang akan ditambahkan, bagaimana menghubungkannya dengan yang sebelumnya, cabang mana yang akan dilanjutkan atau digabungkan. Berkat modularitasnya, kerangka kerja seperti itu dapat diperluas dengan tipe-tipe «transformasi pemikiran» baru (misalnya, operasi khusus pada graf) dan diadaptasi untuk berbagai model (para penulis berhasil menguji GoT dengan LLM dari keluarga GPT-3.5, GPT-4, LLAMA 2, dan lainnya). Sifat penting dari pendekatan ini adalah bahwa GoT tidak memerlukan perubahan parameter model bahasa itu sendiri — semua peningkatan dicapai melalui pembangunan permintaan yang lebih cerdas dan pemrosesan respons. Ini berarti LLM yang kuat yang sudah ada dapat digunakan «apa adanya», sementara Graph-of-Thoughts berperan sebagai lapisan tambahan yang mengelola cara kerjanya.

Perlu dicatat bahwa istilah Graph-of-Thought juga muncul dalam pengembangan lain yang independen, berbeda dari pendekatan Besta dan kolega-koleganya. Pada tahun 2023, Yao Yao dan para rekan penulisnya mengusulkan metodologi peningkatan reasoning pada LLM melalui modul encoder graf pemikiran tambahan, yang memerlukan fine-tuning model. Karya mereka berjudul «Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models» menggambarkan arsitektur dua tahap: pertama dihasilkan graf pernyataan antara yang saling terhubung, kemudian graf tersebut diubah oleh encoder khusus dan diintegrasikan ke dalam model melalui mekanisme gated fusion. Pendekatan hibrida dengan pelatihan ini menunjukkan peningkatan akurasi tertentu pada beberapa tugas; misalnya, pada dataset pertanyaan multimodal ScienceQA, akurasi meningkat dari 85,2% menjadi 87,6% saat menggunakan model T5-base. Namun pendekatan ini, meskipun serupa dalam nama, pada dasarnya berbeda: pendekatan ini memerlukan modifikasi model (fine-tuning) dan bukan skema prompt engineering. Para penulis pendekatan GoT orisinal (AAAI 2024) secara tegas menyatakan bahwa mereka tidak mempertimbangkan model Yao dkk. dalam karya mereka, karena mereka berfokus justru pada metode tanpa pembaruan parameter LLM. Dengan demikian, Graph-of-Thoughts dalam konteks ulasan ini adalah kerangka kerja pada level petunjuk, bukan modifikasi arsitektur jaringan neural.

Penerapan dan Hasil

Para penulis GoT menunjukkan keunggulannya pada sejumlah tugas yang sulit diselesaikan dengan satu petunjuk langsung (input-output prompting) atau bahkan dengan rantai pemikiran. Ciri khas tugas-tugas tersebut adalah dapat diurai menjadi beberapa bagian (subtugas), menyelesaikan bagian-bagian itu secara terpisah, lalu mensintesis jawaban lengkap dari hasil-hasil parsial. Di antara contoh-contoh yang dipertimbangkan: pengurutan daftar yang tidak terurut, penghitungan kata kunci dalam teks (misalnya, untuk meringkas dokumen), pelaksanaan operasi pada himpunan (penyatuan, irisan daftar, dan sebagainya), serta penggabungan dokumen teks (penggabungan informasi dari beberapa sumber). Dalam semua kasus ini, Graph-of-Thoughts memungkinkan dekomposisi tugas secara alami. Misalnya, untuk pengurutan, daftar dipecah menjadi bagian-bagian, setiap bagian diurutkan secara terpisah sebagai cabang pemikiran yang independen, kemudian hasilnya digabungkan (meniru algoritma seperti merge sort); atau dalam analisis teks, model dapat secara paralel mengekstraksi informasi dari berbagai dokumen, kemudian merangkumnya menjadi satu kesatuan.

Hasil eksperimental mengonfirmasi efektivitas skema GoT. Menurut laporan Besta dan koleganya, dalam tugas pengurutan, graf pemikiran memungkinkan peningkatan kualitas solusi yang signifikan dibandingkan pendekatan-pendekatan sebelumnya. Dengan demikian, akurasi pengurutan menggunakan GoT ternyata 70% lebih tinggi dibandingkan dengan rantai pemikiran sederhana CoT, dan 62% lebih tinggi dibandingkan dengan pohon pemikiran ToT. Pada saat yang sama, metode ini mengurangi biaya sumber daya komputasi: jumlah akses ke model (dan, dengan demikian, volume token dari permintaan) berkurang 31% dibandingkan Tree-of-Thoughts untuk tugas yang sama. Ini berarti bahwa organisasi penalaran berbentuk graf tidak hanya meningkatkan hasil akhir, tetapi juga membuat solusinya lebih hemat, menghindari komputasi berlebihan melalui kombinasi cerdas dari kesimpulan-kesimpulan antara. Keuntungan serupa juga diperoleh pada tugas-tugas uji lainnya, terutama di mana diperlukan agregasi informasi yang beragam. Para peneliti mencatat bahwa GoT paling efektif justru untuk tugas-tugas komposit, yang terdiri dari beberapa elemen: «Graph-of-Thoughts sangat cocok untuk tugas-tugas yang secara alami terurai menjadi subtugas-subtugas yang lebih kecil, yang dapat diselesaikan secara terpisah dengan penggabungan hasil selanjutnya». Dalam kasus-kasus seperti ini, graf pemikiran mampu mencakup semua aspek masalah dan mensintesis solusi yang lebih komprehensif dibandingkan dengan mengikuti satu jalur penalaran.

Untuk pemahaman yang lebih mendalam tentang mengapa satu cara membangun petunjuk lebih baik dari yang lain, dalam karya tahun 2024 diusulkan metrik khusus — «volume pemikiran» (volume of a thought). Volume didefinisikan untuk setiap pemikiran individual (simpul graf) sebagai jumlah pemikiran lain yang dapat dicapai melalui sisi-sisi terarah menuju simpul tersebut (secara sederhana, berapa banyak langkah antara yang menjadi sumber informasinya). Dalam Chain-of-Thought, setiap pemikiran hanya berpijak pada satu pendahulu, sehingga volumenya sama dengan 1 (rantai linear). Dalam pohon pemikiran, volume bisa lebih besar, tetapi tetap terbatas oleh struktur cabang individual. Dalam graf, berkat agregasi, satu simpul dapat mengakumulasi kontribusi dari banyak simpul lainnya — «volumenya» jauh lebih tinggi. Ditunjukkan bahwa GoT memungkinkan kesimpulan akhir berpijak pada volume pemikiran sebelumnya yang jauh lebih besar, menggabungkan isinya. Fakta ini mencerminkan cakupan ruang solusi yang lebih dalam dan menjadi penjelasan kuantitatif atas keunggulan penalaran berbentuk graf dibandingkan skema yang lebih sederhana.

Perbandingan dan Signifikansi

Graph-of-Thoughts saat ini mewakili bentuk structured prompting yang paling umum untuk LLM. Dalam tabel-tabel perbandingan berbagai skema (CoT, CoT dengan self-consistency, ToT, dan GoT), ditekankan bahwa hanya GoT yang mendukung topologi sembarang dari proses berpikir. GoT mencakup kemampuan semua pendekatan sebelumnya: dapat bekerja sebagai satu rantai, sebagai pohon dengan percabangan, maupun sebagai kombinasi banyak rantai, jika itu sesuai untuk pemecahan tugas. Yang utama adalah tidak ada batasan ketat pada hubungan antar langkah, yang secara teoritis membuat ruang strategi penalaran yang mungkin menjadi seluas-luasnya.

Penting untuk dipahami bahwa fleksibilitas GoT datang dengan harga kompleksitas kontrol yang lebih besar. Implementasi graf pemikiran memerlukan algoritma orkestrator eksternal yang akan memutuskan kapan dan pemikiran mana yang harus dihasilkan, mana yang dipilih atau digabungkan, kapan menghentikan proses dan memberikan jawaban. Dalam CoT sederhana, keputusan seperti itu tidak perlu dibuat — model sendiri menghasilkan penalaran linear hingga selesai. Dalam ToT, sebagian kontrol beralih ke algoritma pencarian pohon (misalnya, pemilihan simpul untuk pengembangan). Dalam GoT, derajat kebebasannya lebih tinggi, dan efektivitas metode bergantung pada kualitas heuristik yang mengevaluasi hasil-hasil antara, serta konstruksi petunjuk yang tepat di setiap langkah. Dengan demikian, Graph-of-Thoughts dapat dipandang bukan hanya sebagai format permintaan, melainkan sebagai struktur penalaran yang dikenakan pada proses interaksi dengan LLM — semacam rencana dinamis yang dengannya model memecahkan tugas, sementara pengguna (atau program kontroler) mengarahkan proses ini.

Munculnya Graph-of-Thoughts mencerminkan upaya untuk membuat kerja model bahasa besar lebih dapat diinterpretasikan dan dikendalikan. Dengan secara eksplisit mendefinisikan struktur solusi, para peneliti tidak hanya mencapai kualitas yang lebih baik, tetapi juga mendapatkan kemampuan untuk menganalisis bagaimana model sampai pada kesimpulan tertentu. Hal ini mendekatkan pendekatan-pendekatan dalam NLP dengan metode-metode klasik pencarian algoritmik dan perencanaan, namun kini pelaksanaan langkah-langkahnya diserahkan kepada model jaringan neural. Sejumlah pakar memandang structured prompting (rantai, pohon, dan graf pemikiran) sebagai arah yang menjanjikan yang mampu mengatasi keterbatasan «kotak hitam» dalam model-model dalam dan meningkatkan keandalan kerjanya pada tugas-tugas kompleks.

Metodologi Graph-of-Thoughts terus berkembang secara aktif. Kode dan contoh-contoh untuk implementasi GoT telah dipublikasikan oleh para penulisnya secara terbuka, yang memungkinkan komunitas untuk bereksperimen dengan pendekatan baru ini. Muncul pula berbagai ekstensi: misalnya, versi multimodal dari graf pemikiran yang mengombinasikan teks dengan gambar dan jenis data lainnya, serta upaya-upaya untuk mengintegrasikan gagasan-gagasan GoT langsung ke dalam arsitektur model (seperti dalam karya Yao et al., 2023 yang disebutkan sebelumnya). Pada tahun 2025, terbit ulasan-taksonomi terperinci tentang metode-metode Chain-of-Thought, Tree-of-Thoughts, dan Graph-of-Thoughts, yang mensistematisasi pengetahuan yang telah terkumpul dan mendeskripsikan dasar-dasar teoritis dari pendekatan-pendekatan semacam itu. Semua ini menunjukkan minat besar dari komunitas ilmiah terhadap pengelolaan terstruktur atas pemikiran LLM. Graph-of-Thoughts telah membuktikan dirinya sebagai alat yang efektif untuk memecahkan tugas-tugas kompleks dan kemungkinan besar akan menjadi landasan bagi inovasi-inovasi selanjutnya di bidang solusi AI yang menggabungkan kekuatan model bahasa besar dengan transparansi dan logika algoritma klasik.

Referensi

• Artikel asli «Graph of Thoughts: Solving Elaborate Problems with Large Language Models» di arXiv
• Versi HTML dari artikel asli
• Ulasan «Demystifying Chains, Trees, and Graphs of Thoughts» di arXiv
• Artikel «Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models» di arXiv
• Multimodal Graph-of-Thoughts — artikel Deepgram
• LLMs Graph of Thoughts Framework — artikel di Medium

Daftar Pustaka

• Besta, M. et al. (2024). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Yao, Y. et al. (2023). Beyond Chain-of-Thought: Effective Graph-of-Thought Reasoning in Language Models. arXiv:2305.16582.
• Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2024). Demystifying Chains, Trees, and Graphs of Thoughts. arXiv:2401.14295.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models (Kosmos-1). arXiv:2302.14045.
• Mitra, C. et al. (2024). Compositional Chain-of-Thought Prompting for Large Multimodal Models. In CVPR 2024. PDF.
• Zheng, G. et al. (2023). DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models. arXiv:2310.16436.
• Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467.