Graph of Thoughts (TR)

Graph-of-Thoughts (GoT) — büyük dil modelleri (LLM, Large Language Models) alanında, modelin akıl yürütme sürecini birbiriyle bağlantılı «düşüncelerden» (çözümün ara adımlarından) oluşan keyfi bir graf olarak temsil etmeyi öngören bir kavramdır. Bu yaklaşım, ETH Zurich'ten Maciej Besta önderliğinde bir araştırmacı grubu tarafından önerilmiş ve 2024 yılında AAAI konferansında yayımlanmıştır. Graph-of-Thoughts'un amacı, prompt engineering (istem geliştirme) olanaklarını, Chain-of-Thought (düşünce zinciri) ve Tree-of-Thoughts (düşünce ağacı) gibi mevcut şemaların ötesine taşımaktır. Bu yaklaşımların aksine GoT, modelin ürettiği herhangi bir akıl yürütme parçasının (düşüncenin) diğer herhangi bir parçaya atıfta bulunabilmesine olanak tanıyarak katı doğrusal ya da ağaç yapısı yerine bir fikirler ağı oluşturur. Yazarlara göre bu durum, insan düşüncesinin karmaşık, doğrusal olmayan yapısını daha doğru biçimde yansıtmakta ve LLM'lerin akıl yürütme mekanizmasını insan beyninin işleyişine (özyineli sinirsel bağlantılarıyla) potansiyel olarak daha da yaklaştırmaktadır.

Graph-of-Thoughts bir istem oluşturma çerçevesi (prompting framework) olup modelin ek eğitim ya da ince ayar gerektirmez; bunun yerine LLM ile diyalogu özel bir biçimde düzenler ve modeli graf şemasına göre birbirine bağlı bir dizi düşünce adımından geçirir. Bu yapı, farklı akıl yürütme dallarını birleştirmeye ve yeniden kullanmaya olanak tanır: örneğin model, birkaç hipotezi ya da görevin bölümlerini paralel olarak inceleyebilir, ardından bunların en başarılılarını tek bir çözümde birleştirebilir. Ansiklopedik bir tanımla Graph-of-Thoughts, LLM ile yapılandırılmış akıl yürütmenin önceki stratejilerinin bir genellemesi olarak tanımlanabilir; tek bir kapsamlı istem içinde düşünce süreçlerinin düzenlenmesinde maksimum esneklik sağlar.

Ön Koşullar: Chain-of-Thought ve Tree-of-Thoughts

Graph-of-Thoughts yöntemi, dil modelleriyle çalışırken açık akıl yürütme yapısını kullanan daha önceki yaklaşımlardan doğmuştur. Temel yaklaşım, Chain-of-Thought (CoT) — «düşünce zinciri»dir. CoT yönteminde kullanıcıdan, modele gönderdiği isteme yalnızca görevin koşulunu değil, yanıta ulaştıran ara akıl yürütme adımlarını da dahil etmesi beklenir. Araştırmalar, bu tür bir sunum biçiminin LLM'lerin matematiksel problemler veya mantık bilmeceleri gibi karmaşık görevleri çözme yeteneğini, modelin parametrelerinde herhangi bir değişiklik yapılmadan önemli ölçüde geliştirdiğini göstermiştir. Özünde CoT, modeli karmaşık bir sorunu daha basit aşamalara adım adım ayrıştırmaya teşvik ederek ardışık bir düşünce akışını taklit eder.

Bu fikrin bir gelişimi olarak Self-Consistency tekniği ortaya çıktı: tek bir düşünce zinciri yerine birden fazla bağımsız zincir üretilir, ardından bunların en ikna edicisi seçilir. Bu sayede model, çözüme yönelik farklı yaklaşımları değerlendirebilir ve yanlış bir tek akıl yürütme çizgisini izlemekten kaynaklanan hatalı yanıt alma riskini azaltabilir. Bununla birlikte, birden fazla CoT zinciri bile «fikirleri birleştirme» imkânı sunmaz: her zincir yalıtılmış olarak değerlendirilir ve model içeriklerini birleştirmek yerine yalnızca en iyisini seçer.

Bu sınırlamayı aşmak için Tree-of-Thoughts (ToT) — «düşünce ağacı» şeması önerilmiştir. ToT'ta akıl yürütme süreci bir ağaç olarak düzenlenir: her noktada model birkaç düşünce gelişim seçeneği (dallanma) üretebilir, ardından bu ara durumlar değerlendirilerek daha derinlemesine incelenmek üzere en umut verici olanları seçilir. Ağaç araması (örneğin genişlik öncelikli — BFS veya derinlik öncelikli — DFS) ve düğümlere geri dönüp farklı bir dal geliştirme imkânı sayesinde Tree-of-Thoughts, dil modeline doğrusal CoT'tan çok daha güçlü bir karmaşık görev çözme mekanizması sunar. Geri izleme ve yeniden değerlendirme gibi yeni olanaklar ortaya çıkar: bir dal çıkmaza girerse, önceki bir düğüme dönüp farklı bir yol denenebilir. Bu yöntem, varyantların denenmesi ve planlamanın büyük rol oynadığı mantıksal ve arama görevlerinde etkinliğini kanıtlamıştır.

Ancak düşünce ağacı katı kısıtlamalar da getirir: her düşünce (ağaç düğümü) yalnızca bir dala aittir, etkileşim yalnızca üst ve alt düğümler arasında gerçekleşir ve farklı dallar birleşemez ya da bilgi paylaşamaz. Başka bir deyişle, tek bir çözüm çerçevesinde farklı hipotezler arasındaki çapraz fikir alışverişi (cross-pollination) güçtür: ağaç dalları bağımsız olarak gelişir ve yalnızca en iyi akıl yürütme zinciri seçildiğinde kökte birleşir. Oysa gerçek yaratıcı veya analitik düşüncede insan, daha önce ele aldığı bir fikre sıklıkla geri döner ve bunu başka bir akıl yürütme dalıyla birleştirir. Bu tür düşünce iç içe geçmeleri ağaç yapısının sınırlarını aşar.

Bu gözlemler araştırmacıları daha esnek bir yapıya — düşünceler arasındaki bağlantıların kısıtlanmadığı ve karmaşık bir ağ oluşturabileceği bir grafa — yöneltti. 2024 yılındaki analitik bir incelemede belirtildiği üzere, düşünce zincirleri, ağaçları ve graflarının ortaya çıkması, açık akıl yürütme sürecini yapılandırarak LLM'lerin yeteneklerini önemli ölçüde güçlendirebilecek yeni bir yöntem sınıfının doğuşuna işaret etmektedir. Özellikle yapılandırılmış istemler, matematiksel problemlerin ve mantık bulmacalarının çözümünden planlamaya ve hatta yaratıcı yazarlığa kadar pek çok alanda LLM sonuçlarını belirgin biçimde iyileştirmiştir. Graph-of-Thoughts şeması da işte bu genel arka plan üzerinde, yapılandırılmış prompting yöntemlerinin gelişiminde bir sonraki adım olarak ortaya çıktı.

Graph-of-Thoughts Kavramı: Düşüncelerin Graf Yapısı

Graph-of-Thoughts, dil modelinin görev yürütme sürecini keyfi bir yönlü graf olarak temsil etmeyi önerir. GoT'ta düşünce grafı biçimsel olarak bir dizi köşe (düşünceler) ve ayrıttan (düşünceler arasındaki bağımlılıklar) oluşur. Grafın köşesi, modelin ayrı bir düşüncesidir — bu terimle, görev bağlamına bağlı herhangi bir anlamlı birim kastedilmektedir: modelin bir isteğe yanıt olarak ürettiği ayrı bir önerme, çözüm adımı, metin parçası, paragraf, kod bloğu vb. olabilir. Köşeler arasındaki ayrıt, bir düşüncenin başka bir düşüncenin üretiminde kullanıldığı anlamına gelir — yani istemde, modelin yeni bir sonuç elde etmek için belirli bir önceki sonuca dayanması gerektiği açıkça belirtilir. Bu şekilde ayrıtlar bağımlılıkları kayıt altına alır: mevcut akıl yürütme adımı, daha önce elde edilmiş hangi verilere dayanmaktadır.

GoT'u daha basit yapılardan ayıran en önemli özellik, düşüncelerin toplanması ve birleştirilmesi imkânıdır. Grafta bir köşenin (yeni düşüncenin) birden fazla öncülü olabilmesi mümkündür. Bu durum, iki ya da daha fazla ayrı akıl yürütme zincirinin birleştirildiği senaryoya karşılık gelir: model girdi olarak daha önce üretilmiş birkaç parçayı aynı anda alır ve bunlara dayanarak sentezlenmiş bir çıktı oluşturur. Örneğin bir görevi çözerken model paralel olarak iki hipotezi inceleyebilir, ardından her iki hipotezin olumlu yönlerini birleştiren ve eksikliklerini gideren yeni bir düşünce üretebilir. Bu tür toplama işlemleri, ağaç şeması çerçevesinde (her düğümün yalnızca bir üst düğümü olduğu) mümkün değildi; ancak graf yapısında doğal biçimde gerçekleştirilebilmektedir. Fikirlerin birleştirilmesinin yanı sıra, graf geri besleme döngülerine (feedback loops) de olanak tanır: GoT yapısı prensip olarak döngüleri yasaklamaz; yani model belirli bir sonucu yeniden işleme veya iyileştirme amacıyla akıl yürütmenin daha erken bir aşamasına geri gönderebilir. Yazarlar bunu, beynin sinir ağlarındaki özyineli bağlantılarla — bir grup nöronun çıktısının önceki katmanları geri etkileyerek kapalı düşünce döngüleri oluşturduğu yapıyla — analoji kurarak açıklamaktadır.

Graph-of-Thoughts'un pratikte uygulanması, modelle diyaloğun özel bir biçimde düzenlenmesini gerektirir. Araştırmacılar GoT için bir modüler mimari çerçevesi geliştirmiştir. Bu çerçevede şu bileşenler öne çıkar: (1) bireysel adımlar (düşünceler) üzerinde ince denetim — «denetleyici», düşünce üretiminin sıralamasını ve mantığını yönetir; (2) dinamik istem oluşturma — her adım için özel bir modül, mevcut bağlamı ve seçilmiş graf köşelerini (öncülleri) temel alarak bir prompt oluşturur; (3) model yanıtlarının ayrıştırılması ve değerlendirilmesi — LLM'den alınan parçalar kalite, kullanışlılık ya da görev kriterlerine uygunluk açısından analiz edilip değerlendirilir. GoT mimarisi bu sayede akıl yürütme grafını etkileşimli biçimde oluşturma imkânı tanır: her adımın ardından hangi yeni köşelerin ekleneceğine, bunların öncekilerle nasıl ilişkilendirileceğine, hangi dalların devam ettirileceğine ya da birleştirileceğine karar verilir. Modüler yapısı sayesinde bu çerçeve, yeni «düşünce dönüşümü» türleriyle (örneğin özel graf işlemleriyle) genişletilebilir ve farklı modellere uyarlanabilir (yazarlar GoT'u GPT-3.5, GPT-4, LLAMA 2 ve diğer LLM ailesiyle başarıyla test etmiştir). Önemli bir özellik olarak GoT, dil modelinin parametrelerinde herhangi bir değişiklik gerektirmez — tüm iyileştirmeler, istemlerin daha akıllıca oluşturulması ve yanıtların işlenmesi yoluyla sağlanır. Bu, mevcut güçlü LLM'lerin olduğu gibi kullanılabileceği ve Graph-of-Thoughts'un bunların çalışmasını yöneten bir üst yapı işlevi gördüğü anlamına gelir.

Belirtmek gerekir ki Graph-of-Thought terimi, Besta ve meslektaşlarının yaklaşımından farklı, bağımsız başka bir çalışmada da kullanılmıştır. 2023 yılında Yao Yao ve ortak yazarları, ek bir düşünce grafı encoder modülü aracılığıyla LLM'lerin akıl yürütmesini geliştirmeye yönelik bir yöntem önerdiler; bu yöntem modelin yeniden eğitilmesini gerektirmektedir. «Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models» başlıklı çalışmaları iki aşamalı bir mimari tanımlamaktadır: önce birbiriyle bağlantılı ara önermelerin oluşturduğu bir graf üretilir, ardından bu graf özel bir encoder tarafından dönüştürülür ve gated fusion mekanizması aracılığıyla modelle bütünleştirilir. Eğitim gerektiren bu hibrit yaklaşım, bazı görevlerde doğruluğun belirli ölçüde arttığını göstermiştir; örneğin çok modlu ScienceQA soru seti üzerinde T5-base modeliyle doğruluk %85,2'den %87,6'ya yükselmiştir. Ancak bu yaklaşım, adı benzer olsa da özünde farklıdır: modelin değiştirilmesini (fine-tuning) gerektirmekte ve bir prompt engineering şeması değildir. Orijinal GoT yaklaşımının (AAAI 2024) yazarları, Yao ve arkadaşlarının modelini çalışmalarında ele almadıklarını açıkça belirtir; zira odakları, LLM parametrelerini güncellemeden çalışan yöntemler üzerindedir. Dolayısıyla bu inceleme bağlamında Graph-of-Thoughts, sinir ağı mimarisinin bir modifikasyonu değil, yalnızca bir istem düzeyindeki çerçeve anlamına gelmektedir.

Uygulama ve Sonuçlar

GoT'un yazarları, tek bir doğrudan istem (input-output prompting) ya da düşünce zinciriyle bile çözülmesi güç olan bir dizi görevde bu yöntemin üstünlüklerini ortaya koymuştur. Bu tür görevlerin karakteristik özelliği, birkaç parçaya (alt göreve) ayrılabilmeleri, bu parçaların ayrı ayrı çözülebilmesi ve ardından kısmi sonuçlardan tam yanıtın sentezlenebilmesidir. Ele alınan örnekler arasında şunlar yer almaktadır: sırasız bir listenin sıralanması, metindeki anahtar kelimelerin sayılması (örneğin belge özetleme amacıyla), küme işlemlerinin gerçekleştirilmesi (listelerin birleşimi, kesişimi vb.) ve metin belgelerinin birleştirilmesi (birden fazla kaynaktan bilgilerin bir araya getirilmesi). Tüm bu durumlarda Graph-of-Thoughts, görevin doğal biçimde ayrıştırılmasına olanak tanır. Örneğin sıralama için liste parçalara ayrılır, her parça bağımsız bir düşünce dalı olarak ayrı ayrı sıralanır ve ardından sonuçlar birleştirilir (merge sort benzeri bir algoritma taklit edilerek); ya da metin analizinde model farklı belgelerden paralel olarak bilgi çıkarıp bunları tek bir yerde birleştirebilir.

Deneysel sonuçlar GoT şemasının etkinliğini doğrulamaktadır. Besta ve meslektaşlarının raporuna göre, sıralama görevinde düşünce grafı önceki yaklaşımlara kıyasla çözüm kalitesini önemli ölçüde artırmıştır. GoT kullanıldığında sıralama doğruluğu, basit CoT düşünce zinciriyle kıyaslandığında %70 daha yüksek, ToT düşünce ağacıyla kıyaslandığında ise %62 daha yüksek olmuştur. Aynı zamanda yöntem, hesaplama kaynağı tüketimini azaltmaktadır: aynı görev için modele yapılan çağrı sayısı (ve buna bağlı olarak tokenize edilmiş istem hacmi) Tree-of-Thoughts'a kıyasla %31 azalmıştır. Bu, grafsal akıl yürütme düzenlemesinin yalnızca nihai sonucu iyileştirmekle kalmayıp, ara çıktıların akıllıca birleştirilmesi sayesinde gereksiz hesaplamaları önleyerek çözümü daha ekonomik hale getirdiği anlamına gelmektedir. Benzer kazanımlar, özellikle heterojen bilgilerin toplanmasını gerektiren diğer test görevlerinde de elde edilmiştir. Araştırmacılar, GoT'un en çok birden fazla unsurdan oluşan bileşik görevlerde etkili olduğunu vurgulamaktadır: «Graph-of-Thoughts özellikle daha küçük alt görevlere doğal olarak ayrışabilen, her biri ayrı ayrı çözülüp sonuçları daha sonra birleştirilebilen görevler için son derece uygundur». Bu tür durumlarda düşünce grafı, sorunun tüm boyutlarını kapsayabilmekte ve tek bir akıl yürütme çizgisi izlendiğine kıyasla daha kapsamlı nitelikte bir çözüm sentezleyebilmektedir.

Bir istem oluşturma biçiminin neden diğerinden daha iyi olduğunu daha ince biçimde anlamak amacıyla, 2024 tarihli çalışmada özel bir ölçüt önerilmiştir: «düşünce hacmi» (volume of a thought). Hacim, grafın her bir düşüncesi (köşesi) için yönlü ayrıtlar boyunca o düşünceye ulaşılabilen diğer düşüncelerin sayısı olarak tanımlanmıştır (basitçe söylemek gerekirse, o düşüncenin bilgi borcunu taşıdığı ara adımların sayısı). Chain-of-Thought'ta her düşünce yalnızca bir öncülü temel alır; dolayısıyla hacmi 1'e eşittir (doğrusal zincir). Düşünce ağacında hacim daha büyük olabilir, ancak yine de tek bir dalın yapısıyla sınırlıdır. Grafta ise toplama sayesinde tek bir köşe, pek çok başka köşenin katkısını biriktirebilir — «hacmi» önemli ölçüde daha yüksektir. GoT'un nihai çıktılarının, içeriklerini birleştirerek çok daha büyük bir önceki düşünce hacmine dayandığı gösterilmiştir. Bu olgu, çözüm uzayının daha derin biçimde kapsandığını yansıtmakta ve grafsal akıl yürütmenin daha basit şemalara karşı üstünlüğünün nicel bir açıklamasını sunmaktadır.

Karşılaştırma ve Önemi

Graph-of-Thoughts, günümüzde LLM'ler için yapılandırılmış prompting'in en genelleştirilmiş biçimini temsil etmektedir. Çeşitli şemaların (CoT, öz-tutarlılıklı CoT, ToT ve GoT) karşılaştırma tablolarında yalnızca GoT'un düşünce sürecinin keyfi topolojisini desteklediği vurgulanmaktadır. GoT, önceki tüm yaklaşımların olanaklarını bünyesinde barındırır: göreve bağlı olarak hem tek bir zincir, hem dallanmalı bir ağaç, hem de birden fazla zincirin kombinasyonu olarak çalışabilir. Temel nokta, adımlar arasındaki bağlantı üzerinde katı kısıtlamaların bulunmamasıdır ki bu da teorik olarak olası akıl yürütme stratejileri uzayını azami ölçüde genişletmektedir.

GoT'un esnekliğinin, kontrol karmaşıklığını artırma pahasına geldiğini anlamak önemlidir. Düşünce grafının uygulanması, hangi düşüncelerin ne zaman üretileceğine, hangilerinin seçilip birleştirileceğine, sürecin ne zaman durdurup yanıtın ne zaman verileceğine karar verecek bir dış orkestratör algoritmaya ihtiyaç duyar. Basit CoT'ta bu tür kararlar alınması gerekmez — model, sonuna kadar doğrusal bir akıl yürütme üretir. ToT'ta denetimin bir kısmı ağaç arama algoritmasına (örneğin genişletilecek düğümün seçilmesine) düşer. GoT'ta ise serbestlik derecesi daha yüksektir ve yöntemin etkinliği, ara sonuçları değerlendiren sezgisel kurallara ve her adımda istemi doğru biçimde oluşturmaya bağlıdır. Bu nedenle Graph-of-Thoughts, yalnızca bir istem biçimi olarak değil, LLM ile etkileşim sürecine yüklenen bir akıl yürütme yapısı olarak da değerlendirilebilir — modelin görevi çözdüğü ve kullanıcının (ya da denetleyici programın) bu süreci yönlendirdiği dinamik bir plan niteliğindedir.

Graph-of-Thoughts'un ortaya çıkışı, büyük dil modellerinin çalışmasını daha yorumlanabilir ve yönetilebilir kılma çabasını yansıtmaktadır. Çözümün yapısını açıkça belirleyerek araştırmacılar yalnızca daha iyi sonuçlar elde etmekle kalmaz; aynı zamanda modelin belirli bir sonuca nasıl ulaştığını da analiz edebilir hale gelir. Bu durum, NLP'deki yaklaşımları klasik algoritmik arama ve planlama yöntemlerine yaklaştırır; ancak adımların yürütülmesi artık sinir ağı modeline bırakılmıştır. Bir kısım uzman, yapılandırılmış istemleri (düşünce zincirleri, ağaçları, grafları) derin modellerdeki «kara kutu» sınırlamalarını aşabilecek ve karmaşık görevlerde güvenilirliklerini artırabilecek umut verici bir yön olarak değerlendirmektedir.

Graph-of-Thoughts metodolojisi aktif olarak gelişmeye devam etmektedir. Yazarlar, GoT'u uygulamaya yönelik kod ve örnekleri açık erişime sunmuştur; bu da topluluğun yeni yaklaşımı denemesine olanak tanımıştır. Genişletmeler de ortaya çıkmaktadır: örneğin metni görüntüler ve diğer veri türleriyle birleştiren çok modlu düşünce grafı sürümleri ve GoT fikirlerini doğrudan model mimarisiyle bütünleştirme denemeleri (yukarıda söz edilen Yao ve ark., 2023 çalışmasında olduğu gibi). 2025 yılında, Chain-of-Thought, Tree-of-Thoughts ve Graph-of-Thoughts yöntemlerini sistematize eden ve bu yaklaşımların teorik temellerini açıklayan kapsamlı bir taksonomi inceleme çalışması yayımlandı. Tüm bunlar, bilim dünyasının LLM düşüncesinin yapılandırılmış biçimde yönetilmesine duyduğu büyük ilgiye işaret etmektedir. Graph-of-Thoughts, karmaşık görevleri çözmek için etkili bir araç olarak kendini kanıtlamıştır ve büyük dil modellerinin gücünü klasik algoritmaların şeffaflığı ve mantığıyla birleştiren yapay zeka çözümleri alanındaki gelecekteki yeniliklerin temeli olmaya aday görünmektedir.

Dış bağlantılar

• arXiv'deki orijinal «Graph of Thoughts: Solving Elaborate Problems with Large Language Models» makalesi
• Orijinal makalenin HTML sürümü
• arXiv'deki «Demystifying Chains, Trees, and Graphs of Thoughts» incelemesi
• arXiv'deki «Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models» makalesi
• Multimodal Graph-of-Thoughts — Deepgram makalesi
• LLMs Graph of Thoughts Framework — Medium'daki makale

Kaynakça

• Besta, M. et al. (2024). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Yao, Y. et al. (2023). Beyond Chain-of-Thought: Effective Graph-of-Thought Reasoning in Language Models. arXiv:2305.16582.
• Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2024). Demystifying Chains, Trees, and Graphs of Thoughts. arXiv:2401.14295.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models (Kosmos-1). arXiv:2302.14045.
• Mitra, C. et al. (2024). Compositional Chain-of-Thought Prompting for Large Multimodal Models. In CVPR 2024. PDF.
• Zheng, G. et al. (2023). DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models. arXiv:2310.16436.
• Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467.