Graph of Thoughts (TH)

Graph-of-Thoughts (GoT) — คือแนวคิดในด้านการทำงานกับโมเดลภาษาขนาดใหญ่ (LLM, Large Language Models) ที่เสนอให้แสดงกระบวนการให้เหตุผลของโมเดลในรูปแบบกราฟอิสระของ«ความคิด»ที่เชื่อมโยงกัน (ขั้นตอนกลางของการแก้ปัญหา) แนวทางนี้ได้รับการเสนอโดยกลุ่มนักวิจัยภายใต้การนำของMaciej Besta จาก ETH Zurich และได้รับการตีพิมพ์ในปี 2024 ในการประชุม AAAI เป้าหมายของ Graph-of-Thoughts คือการขยายความสามารถของprompt engineering (การพัฒนาคำสั่ง) ให้เกินกว่าโครงร่างที่มีอยู่ เช่น Chain-of-Thought (ห่วงโซ่ความคิด) และ Tree-of-Thoughts (ต้นไม้ความคิด) แตกต่างจากแนวทางเหล่านั้น แนวทาง GoT ยอมให้ชิ้นส่วนการให้เหตุผลใด ๆ ที่โมเดลสร้างขึ้น (ความคิด) อ้างอิงถึงชิ้นส่วนอื่น ๆ ก่อให้เกิดเครือข่ายของแนวคิด แทนที่จะเป็นโครงสร้างเส้นตรงหรือแบบต้นไม้อย่างเคร่งครัด สิ่งนี้ตามที่ผู้เขียนอ้างนั้นสะท้อนลักษณะที่ซับซ้อนและไม่เป็นเส้นตรงของการคิดของมนุษย์ได้แม่นยำกว่า และอาจทำให้กลไกการให้เหตุผลของ LLM เข้าใกล้การทำงานของสมองมนุษย์มากขึ้น (ด้วยการเชื่อมต่อของเซลล์ประสาทแบบ recurrent)

Graph-of-Thoughts เป็นวิธีการสร้างคำสั่ง (prompting framework) กล่าวคือไม่ต้องการการฝึกเพิ่มเติมหรือการปรับแต่งโมเดลเอง แต่จัดการสนทนากับ LLM ในลักษณะพิเศษ นำโมเดลผ่านชุดขั้นตอน-«ความคิด» ที่เชื่อมโยงตามโครงร่างกราฟ โครงสร้างดังกล่าวช่วยให้สามารถรวมและนำสาขาการให้เหตุผลต่าง ๆ กลับมาใช้ใหม่ได้: ตัวอย่างเช่น โมเดลสามารถพิจารณาสมมติฐานหรือส่วนต่าง ๆ ของปัญหาแบบขนานกัน แล้วรวมสิ่งที่ดีที่สุดเข้าด้วยกันเป็นคำตอบเดียว ในเชิงสารานุกรม Graph-of-Thoughts สามารถนิยามได้ว่าเป็นการวางนัยทั่วไปของกลยุทธ์การให้เหตุผลแบบมีโครงสร้างก่อนหน้าด้วย LLM ซึ่งให้ความยืดหยุ่นสูงสุดในการจัดระเบียบกระบวนการคิดภายในคำสั่งเดียวที่ซับซ้อน

Предпосылки: Chain-of-Thought и Tree-of-Thoughts - ที่มา: Chain-of-Thought และ Tree-of-Thoughts

วิธี Graph-of-Thoughts เติบโตมาจากแนวทางก่อนหน้าที่ใช้โครงสร้างการให้เหตุผลที่ชัดเจนในการทำงานกับโมเดลภาษา แนวทางพื้นฐานคือChain-of-Thought (CoT) – «ห่วงโซ่ความคิด» ในวิธี CoT ผู้ใช้จะได้รับการแนะนำให้รวมไม่เพียงแต่เงื่อนไขของปัญหาเท่านั้น แต่ยังรวมขั้นตอนการให้เหตุผลกลางที่นำไปสู่คำตอบในคำสั่งที่ส่งไปยังโมเดลด้วย การวิจัยแสดงให้เห็นว่าการนำเสนอเนื้อหาในลักษณะนี้ช่วยปรับปรุงความสามารถของ LLM ในการแก้ปัญหาที่ซับซ้อนได้อย่างมีนัยสำคัญ เช่น ปัญหาทางคณิตศาสตร์หรือตรรกศาสตร์ โดยไม่ต้องเปลี่ยนแปลงพารามิเตอร์ของโมเดลเอง ในทางปฏิบัติ CoT กระตุ้นให้โมเดลแยกย่อยปัญหาที่ซับซ้อนทีละขั้นตอนเป็นขั้นตอนที่ง่ายกว่า เลียนแบบลำดับขั้นตอนการคิด

พัฒนาการของแนวคิดนี้คือเทคนิคSelf-Consistency: แทนที่จะเป็นห่วงโซ่ความคิดเดียว จะมีการสร้างห่วงโซ่อิสระหลายชุด แล้วเลือกอันที่น่าเชื่อถือที่สุด ทำให้โมเดลสามารถพิจารณาแนวทางต่าง ๆ ในการแก้ปัญหาและลดความเสี่ยงที่จะได้คำตอบที่ผิดพลาดเนื่องจากการตามเส้นทางการให้เหตุผลที่ผิดพลาดเพียงเส้นทางเดียว อย่างไรก็ตาม แม้แต่ห่วงโซ่ CoT จำนวนมากก็ไม่ได้ให้ความสามารถในการ «รวมแนวคิด»: แต่ละห่วงโซ่จะถูกพิจารณาแยกกัน และโมเดลเพียงแค่เลือกอันที่ดีที่สุดโดยไม่ได้รวมเนื้อหาของห่วงโซ่เหล่านั้น

เพื่อเอาชนะข้อจำกัดนี้ จึงได้มีการเสนอโครงร่างTree-of-Thoughts (ToT) – «ต้นไม้ความคิด» ใน ToT กระบวนการให้เหตุผลจัดเป็นต้นไม้: ในแต่ละจุดโมเดลสามารถสร้างตัวเลือกการพัฒนาความคิดหลายแบบ (การแตกสาขา) หลังจากนั้นจะมีการประเมินสถานะกลางเหล่านี้และเลือกสิ่งที่มีแนวโน้มดีที่สุดเพื่อดำเนินการต่อในเชิงลึก โดยใช้การค้นหาแบบต้นไม้ (เช่น แบบกว้าง — BFS หรือแบบลึก — DFS) และความสามารถในการย้อนกลับไปยังโหนดและพัฒนาสาขาอื่น Tree-of-Thoughts มอบกลไกที่ทรงพลังกว่าในการแก้ปัญหาที่ซับซ้อนให้กับโมเดลภาษากว่า CoT เชิงเส้น ความสามารถใหม่ปรากฏขึ้น เช่นการย้อนกลับและทบทวน: หากสาขาหนึ่งนำไปสู่ทางตัน ก็สามารถกลับไปยังโหนดก่อนหน้าและลองเส้นทางอื่น วิธีนี้พิสูจน์ประสิทธิภาพในการแก้ปัญหาตรรกะและการค้นหา ซึ่งการลองผิดลองถูกและการวางแผนมีบทบาทสำคัญ

อย่างไรก็ตาม ต้นไม้ความคิดยังกำหนดข้อจำกัดที่เข้มงวด: ความคิดแต่ละอย่าง (โหนดของต้นไม้) อยู่เพียงในสาขาเดียว การโต้ตอบเกิดขึ้นเฉพาะระหว่างโหนดพ่อแม่และลูก และสาขาต่าง ๆ ไม่สามารถรวมกันหรือแลกเปลี่ยนข้อมูลได้ กล่าวอีกนัยหนึ่งการแลกเปลี่ยนแนวคิดข้ามสาขา (cross-pollination) ระหว่างสมมติฐานต่าง ๆ ภายในการแก้ปัญหาเดียวนั้นทำได้ยาก: สาขาของต้นไม้พัฒนาอย่างอิสระและรวมกันเฉพาะที่รากเมื่อเลือกห่วงโซ่การให้เหตุผลที่ดีที่สุด ในการคิดเชิงสร้างสรรค์หรือเชิงวิเคราะห์ที่แท้จริง มนุษย์มักกลับมาพิจารณาแนวคิดที่เคยพิจารณาไปแล้วและรวมกับสาขาการให้เหตุผลอื่น การผสมผสานความคิดเช่นนี้เกินกว่าโครงสร้างต้นไม้

การสังเกตเหล่านี้นำนักวิจัยไปสู่แนวคิดเกี่ยวกับโครงสร้างที่ยืดหยุ่นกว่า — กราฟ ซึ่งการเชื่อมต่อระหว่างความคิดไม่ถูกจำกัดและสามารถก่อเป็นเครือข่ายที่ซับซ้อน ตามที่ระบุในการทบทวนวิเคราะห์ปี 2024 การปรากฏของห่วงโซ่ ต้นไม้ และกราฟของความคิดสะท้อนถึงการเกิดขึ้นของวิธีการประเภทใหม่ที่สามารถเพิ่มความสามารถของ LLM ได้อย่างมีนัยสำคัญผ่านการจัดโครงสร้างกระบวนการให้เหตุผลอย่างชัดเจน โดยเฉพาะอย่างยิ่ง การใช้คำสั่งแบบมีโครงสร้างช่วยปรับปรุงผลลัพธ์ของ LLM อย่างเห็นได้ชัดในหลายด้าน — ตั้งแต่การแก้ปัญหาทางคณิตศาสตร์และตรรกศาสตร์ไปจนถึงการวางแผนและแม้แต่การเขียนเชิงสร้างสรรค์ บนพื้นหลังทั่วไปนี้ โครงร่าง Graph-of-Thoughts จึงเกิดขึ้นเป็นขั้นตอนต่อไปในการพัฒนาวิธีการ prompting แบบมีโครงสร้าง

Концепция Graph-of-Thoughts: графовая структура мыслей - แนวคิด Graph-of-Thoughts: โครงสร้างกราฟของความคิด

Graph-of-Thoughts เสนอให้แสดงขั้นตอนการดำเนินงานของโมเดลภาษาในรูปแบบกราฟมีทิศทางอิสระ ในเชิงรูปแบบ กราฟความคิดใน GoT คือชุดของจุดยอด (ความคิด) และเส้นเชื่อม (การพึ่งพาระหว่างความคิด) จุดยอดของกราฟคือความคิดของโมเดลแต่ละอย่าง — คำนี้หมายถึงหน่วยเนื้อหาใด ๆ ที่ขึ้นอยู่กับบริบทของงาน: อาจเป็นคำกล่าวเดี่ยว ขั้นตอนการแก้ปัญหา ส่วนของข้อความ ย่อหน้า บล็อกโค้ด และอื่น ๆ ที่โมเดลสร้างขึ้นเพื่อตอบสนองต่อคำสั่ง เส้นเชื่อมระหว่างจุดยอดหมายความว่าความคิดหนึ่งถูกใช้ในการสร้างความคิดอื่น — กล่าวคือในคำสั่งจะระบุอย่างชัดเจนว่าโมเดลควรอ้างอิงผลลัพธ์ก่อนหน้าที่ระบุเพื่อให้ได้ผลลัพธ์ใหม่ ดังนั้นเส้นเชื่อมจึงบันทึกการพึ่งพา: ขั้นตอนปัจจุบันของการให้เหตุผลขึ้นอยู่กับข้อมูลใดที่ได้รับมาก่อนหน้านี้

ความแตกต่างที่สำคัญที่สุดของ GoT จากโครงสร้างที่เรียบง่ายกว่าคือความสามารถในการรวมและผสานความคิด ในกราฟนั้นยอมให้จุดยอด (ความคิดใหม่) มีบรรพบุรุษหลายตัว ซึ่งสอดคล้องกับสถานการณ์ที่ห่วงโซ่การให้เหตุผลสองสายขึ้นไปรวมกัน: โมเดลรับชิ้นส่วนที่สร้างไว้ก่อนหน้าหลายชิ้นเป็นอินพุตพร้อมกันและสร้างข้อสรุปที่สังเคราะห์จากชิ้นส่วนเหล่านั้น ตัวอย่างเช่น เมื่อแก้ปัญหา โมเดลสามารถพิจารณาสมมติฐานสองข้อแบบขนานกัน แล้วสร้างความคิดใหม่ที่รวมข้อดีของสมมติฐานทั้งสองและขจัดข้อเสียของสมมติฐานเหล่านั้น การดำเนินการรวมดังกล่าวเป็นไปไม่ได้ภายในโครงร่างแบบต้นไม้ (ซึ่งแต่ละโหนดมีพ่อแม่เพียงคนเดียว) แต่สามารถทำได้อย่างเป็นธรรมชาติในโครงร่างกราฟ นอกจากการผสานแนวคิดแล้ว กราฟยังช่วยให้นำข้อเสนอแนะย้อนกลับ (feedback loops) มาใช้ได้: โดยหลักการแล้ว โครงสร้างของ GoT ไม่ได้ห้ามวงจร กล่าวคือโมเดลสามารถส่งคืนผลลัพธ์บางอย่างไปยังขั้นตอนก่อนหน้าของการให้เหตุผลเพื่อการประมวลผลซ้ำหรือปรับแต่ง ผู้เขียนเชื่อมโยงสิ่งนี้กับการเปรียบเทียบกับการเชื่อมต่อแบบ recurrent ในเครือข่ายประสาทของสมอง ซึ่งผลลัพธ์จากกลุ่มเซลล์ประสาทหนึ่งสามารถส่งผลกลับไปยังชั้นก่อนหน้า ก่อตัวเป็นวงจรความคิดปิด

ในทางปฏิบัติ การดำเนินการ Graph-of-Thoughts ต้องการการจัดระเบียบสนทนากับโมเดลในลักษณะพิเศษ นักวิจัยได้พัฒนากรอบสถาปัตยกรรมแบบโมดูลาร์สำหรับ GoT ซึ่งประกอบด้วยส่วนประกอบสำหรับ: (1) การควบคุมอย่างละเอียดเหนือขั้นตอนแต่ละอย่าง (ความคิด) — «ตัวควบคุม» จัดการลำดับและตรรกะของการสร้างความคิด; (2) การสร้าง prompt แบบไดนามิก — สำหรับแต่ละขั้นตอน โมดูลพิเศษสร้าง prompt จากบริบทปัจจุบันและจุดยอดของกราฟที่เลือก (บรรพบุรุษ); (3) การแยกวิเคราะห์และประเมินการตอบสนองของโมเดล — ชิ้นส่วนที่ได้รับจาก LLM จะถูกวิเคราะห์และประเมินในด้านคุณภาพ ประโยชน์ หรือการปฏิบัติตามเกณฑ์ของงาน สถาปัตยกรรมของ GoT จึงช่วยให้สร้างกราฟการให้เหตุผลในโหมดโต้ตอบได้: หลังจากแต่ละขั้นตอน จะมีการตัดสินใจว่าจะเพิ่มจุดยอดใหม่ใด จะเชื่อมกับจุดยอดก่อนหน้าอย่างไร สาขาใดจะดำเนินต่อหรือเชื่อมต่อกัน ด้วยความเป็นโมดูลาร์ กรอบดังกล่าวสามารถขยายด้วยประเภท «การแปลงความคิด» ใหม่ (เช่น การดำเนินการพิเศษกับกราฟ) และปรับให้เข้ากับโมเดลต่าง ๆ (ผู้เขียนทดสอบ GoT กับ LLM ในตระกูล GPT-3.5, GPT-4, LLAMA 2 และอื่น ๆ ได้สำเร็จ) คุณสมบัติสำคัญคือGoT ไม่ต้องการการเปลี่ยนแปลงพารามิเตอร์ของโมเดลภาษาเอง — การปรับปรุงทั้งหมดเกิดขึ้นผ่านการสร้างคำสั่งที่ชาญฉลาดกว่าและการประมวลผลการตอบสนอง ซึ่งหมายความว่า LLM ที่มีประสิทธิภาพสูงที่มีอยู่แล้วสามารถใช้ «ตามที่เป็น» และ Graph-of-Thoughts ทำหน้าที่เป็นชั้นที่ควบคุมการทำงานของโมเดลเหล่านั้น

ควรสังเกตว่าคำว่า Graph-of-Thought ยังปรากฏในการพัฒนาอีกแบบหนึ่งที่เป็นอิสระ ต่างจากแนวทางของ Besta และเพื่อนร่วมงาน ในปี 2023 Yao Yao และผู้เขียนร่วมเสนอวิธีการปรับปรุง reasoning ของ LLM ด้วยโมดูล encoder กราฟความคิดเพิ่มเติม ซึ่งต้องการการ fine-tuning ของโมเดล งานของพวกเขาภายใต้ชื่อ «Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models» อธิบายสถาปัตยกรรมสองขั้นตอน: ขั้นแรกสร้างกราฟของคำกล่าวกลางที่เชื่อมโยงกัน จากนั้นแปลงโดย encoder พิเศษและรวมเข้ากับโมเดลผ่านกลไก gated fusion แนวทางไฮบริดที่มีการเรียนรู้เช่นนี้แสดงให้เห็นการเพิ่มขึ้นของความแม่นยำในงานบางอย่าง เช่น บนชุดคำถามมัลติโมดัล ScienceQA ความแม่นยำเพิ่มขึ้นจาก 85.2% เป็น 87.6% เมื่อใช้โมเดล T5-base อย่างไรก็ตาม แนวทางนี้แม้จะมีชื่อคล้ายกัน แต่แตกต่างกันอย่างสิ้นเชิง: ต้องการการเปลี่ยนแปลงโมเดล (fine-tuning) และไม่ใช่โครงร่าง prompt engineering ผู้เขียนแนวทาง GoT ดั้งเดิม (AAAI 2024) ระบุอย่างชัดเจนว่าไม่ได้พิจารณาโมเดลของ Yao และคณะในงานของตน เนื่องจากมุ่งเน้นเฉพาะวิธีการที่ไม่มีการอัปเดตพารามิเตอร์ของ LLM ดังนั้น Graph-of-Thoughts ในบริบทของการทบทวนนี้จึงเป็นกรอบการทำงานในระดับคำสั่งโดยเฉพาะ ไม่ใช่การปรับเปลี่ยนสถาปัตยกรรมของเครือข่ายประสาท

Применение и результаты - การประยุกต์ใช้และผลลัพธ์

ผู้เขียน GoT แสดงให้เห็นข้อดีของวิธีนี้ในงานหลายประเภทที่ยากต่อการแก้ปัญหาด้วยคำสั่งตรง ๆ เดียว (input-output prompting) หรือแม้แต่ด้วยห่วงโซ่ความคิด ลักษณะเฉพาะของงานดังกล่าวคือสามารถแยกย่อยเป็นหลายส่วน (งานย่อย) แก้ส่วนเหล่านั้นแยกกัน แล้วสังเคราะห์คำตอบสมบูรณ์จากผลลัพธ์บางส่วน ตัวอย่างที่พิจารณา ได้แก่: การเรียงลำดับรายการที่ไม่มีลำดับ การนับคำสำคัญในข้อความ (เช่น สำหรับการสรุปเอกสาร) การดำเนินการทางเซต (การรวม การตัดกันของรายการ และอื่น ๆ) รวมถึงการรวมเอกสารข้อความ (การรวมข้อมูลจากหลายแหล่ง) ในทุกกรณีเหล่านี้ Graph-of-Thoughts ช่วยให้แยกย่อยงานได้อย่างเป็นธรรมชาติ ตัวอย่างเช่น สำหรับการเรียงลำดับ รายการจะถูกแบ่งออกเป็นส่วน ๆ แต่ละส่วนจะถูกเรียงลำดับแยกกันเป็นสาขาความคิดอิสระ แล้วนำผลลัพธ์มารวมกัน (เลียนแบบอัลกอริทึมเช่น merge sort); หรือเมื่อวิเคราะห์ข้อความ โมเดลสามารถดึงข้อมูลจากเอกสารต่าง ๆ แบบขนานกัน แล้วรวบรวมเข้าด้วยกัน

ผลการทดลองยืนยันประสิทธิภาพของโครงร่าง GoT ตามรายงานของ Besta และเพื่อนร่วมงาน ในงานเรียงลำดับ กราฟความคิดช่วยให้คุณภาพของการแก้ปัญหาดีขึ้นอย่างมีนัยสำคัญเมื่อเปรียบเทียบกับแนวทางก่อนหน้า โดยความแม่นยำของการเรียงลำดับเมื่อใช้ GoT สูงกว่าถึง 70%เมื่อเทียบกับห่วงโซ่ความคิดแบบง่าย CoT และสูงกว่า 62%เมื่อเทียบกับต้นไม้ความคิด ToT ในขณะเดียวกัน วิธีนี้ลดการใช้ทรัพยากรการคำนวณ: จำนวนการเรียกใช้โมเดล (และปริมาณโทเค็นของคำสั่ง) ลดลงถึง 31% เมื่อเทียบกับ Tree-of-Thoughtsสำหรับงานเดียวกัน ซึ่งหมายความว่าการจัดระเบียบการให้เหตุผลแบบกราฟไม่เพียงแต่ปรับปรุงผลลัพธ์สุดท้ายเท่านั้น แต่ยังทำให้การแก้ปัญหามีประสิทธิภาพทางเศรษฐกิจมากขึ้น หลีกเลี่ยงการคำนวณที่ซ้ำซ้อนผ่านการรวมข้อสรุปกลางอย่างชาญฉลาด ผลประโยชน์ดังกล่าวได้รับการพิสูจน์ในงานทดสอบอื่น ๆ ด้วย โดยเฉพาะอย่างยิ่งที่ต้องการการรวมข้อมูลที่หลากหลาย นักวิจัยสังเกตว่า GoT มีประสิทธิภาพสูงสุดโดยเฉพาะสำหรับงานแบบผสมที่ประกอบด้วยหลายองค์ประกอบ: «Graph-of-Thoughts เหมาะสมเป็นพิเศษสำหรับงานที่แยกย่อยได้อย่างเป็นธรรมชาติเป็นงานย่อยขนาดเล็กกว่าซึ่งแก้ได้แยกกันแล้วนำผลลัพธ์มารวมกัน» ในกรณีดังกล่าว กราฟความคิดสามารถครอบคลุมทุกแง่มุมของปัญหาและสังเคราะห์การแก้ปัญหาที่ครอบคลุมกว่าการตามเส้นทางการให้เหตุผลเดียว

เพื่อความเข้าใจที่ละเอียดขึ้นว่าเหตุใดวิธีการสร้างคำสั่งแบบหนึ่งจึงดีกว่าอีกแบบหนึ่ง งานปี 2024 เสนอเมตริกพิเศษ — «ปริมาณความคิด» (volume of a thought) ปริมาณถูกกำหนดสำหรับความคิดแต่ละอย่าง (จุดยอดของกราฟ) ว่าเป็นจำนวนความคิดอื่น ๆ ที่สามารถเข้าถึงความคิดนั้นได้ตามเส้นเชื่อมมีทิศทาง (พูดง่าย ๆ คือ มีขั้นตอนกลางกี่ขั้นที่ความคิดนั้นได้รับข้อมูลมา) ใน Chain-of-Thought ความคิดใด ๆ อาศัยบรรพบุรุษเพียงคนเดียว ดังนั้นปริมาณของมันจึงเท่ากับ 1 (ห่วงโซ่เชิงเส้น) ใน Tree-of-Thoughts ปริมาณอาจมากกว่า แต่ยังคงถูกจำกัดโดยโครงสร้างของสาขาเดียว ในกราฟ ด้วยการรวม จุดยอดเดียวสามารถสะสมการมีส่วนร่วมจากหลาย ๆ อย่างในคราวเดียว — «ปริมาณ» ของมันจึงสูงกว่าอย่างมีนัยสำคัญ แสดงให้เห็นว่า GoT ช่วยให้ข้อสรุปสุดท้ายอ้างอิงปริมาณความคิดก่อนหน้าที่มากกว่าอย่างมีนัยสำคัญ โดยรวมเนื้อหาของความคิดเหล่านั้น ข้อเท็จจริงนี้สะท้อนถึงการครอบคลุมพื้นที่การแก้ปัญหาที่ลึกซึ้งกว่าและเป็นคำอธิบายเชิงปริมาณถึงข้อดีของการให้เหตุผลแบบกราฟเมื่อเทียบกับโครงร่างที่เรียบง่ายกว่า

Сравнение и значение - การเปรียบเทียบและความสำคัญ

Graph-of-Thoughts ในปัจจุบันเป็นตัวแทนรูปแบบที่เป็นนัยทั่วไปที่สุดของการ prompting แบบมีโครงสร้างสำหรับ LLM ในตารางเปรียบเทียบโครงร่างต่าง ๆ (CoT, CoT ด้วย self-consistency, ToT และ GoT) เน้นว่ามีเพียง GoT เท่านั้นที่รองรับโทโพโลยีอิสระของกระบวนการคิด ครอบคลุมความสามารถของแนวทางก่อนหน้าทั้งหมด: สามารถทำงานได้ทั้งเป็นห่วงโซ่เดียว เป็นต้นไม้ที่มีสาขา และเป็นการรวมกันของหลายห่วงโซ่ หากเหมาะสมกับการแก้ปัญหา ประเด็นหลักคือไม่มีข้อจำกัดที่เข้มงวดในการเชื่อมต่อระหว่างขั้นตอน ซึ่งในทางทฤษฎีทำให้พื้นที่ของกลยุทธ์การให้เหตุผลที่เป็นไปได้กว้างที่สุด

สิ่งสำคัญคือต้องเข้าใจว่าความยืดหยุ่นของ GoT มาพร้อมกับความซับซ้อนในการควบคุมที่สูงขึ้น การดำเนินการกราฟความคิดต้องการอัลกอริทึม-orchestrator ภายนอก ซึ่งจะตัดสินใจว่าเมื่อใดและความคิดใดที่จะสร้าง อันใดที่จะเลือกหรือรวมกัน เมื่อใดที่จะหยุดกระบวนการและให้คำตอบ ใน CoT แบบง่าย ไม่จำเป็นต้องตัดสินใจดังกล่าว — โมเดลสร้างการให้เหตุผลเชิงเส้นจนจบเอง ใน ToT ส่วนหนึ่งของการควบคุมขึ้นอยู่กับอัลกอริทึมการค้นหาแบบต้นไม้ (เช่น การเลือกโหนดสำหรับการขยาย) ใน GoT ระดับอิสรภาพยิ่งสูงกว่า และประสิทธิภาพของวิธีนี้ขึ้นอยู่กับคุณภาพของฮิวริสติกที่ประเมินผลลัพธ์กลางและการสร้างคำสั่งที่ถูกต้องในแต่ละขั้นตอน ดังนั้น Graph-of-Thoughts สามารถมองได้ว่าไม่ใช่แค่รูปแบบคำสั่งเท่านั้น แต่เป็นโครงสร้างการให้เหตุผลที่วางซ้อนบนกระบวนการโต้ตอบกับ LLM — เป็นแผนแบบไดนามิกชนิดหนึ่งที่โมเดลใช้แก้ปัญหา และผู้ใช้ (หรือโปรแกรม-ตัวควบคุม) ชี้นำกระบวนการนี้

การปรากฏตัวของ Graph-of-Thoughts สะท้อนถึงความปรารถนาที่จะทำให้การทำงานของโมเดลภาษาขนาดใหญ่มีความโปร่งใสและควบคุมได้มากขึ้น การกำหนดโครงสร้างการแก้ปัญหาอย่างชัดเจน นักวิจัยไม่เพียงแต่บรรลุคุณภาพที่ดีขึ้นเท่านั้น แต่ยังได้รับโอกาสในการวิเคราะห์ว่าโมเดลมาถึงข้อสรุปใดข้อสรุปหนึ่งได้อย่างไร สิ่งนี้ทำให้แนวทางใน NLP เข้าใกล้วิธีการค้นหาและวางแผนเชิงอัลกอริทึมแบบคลาสสิกมากขึ้น แต่ขณะนี้การดำเนินการขั้นตอนต่าง ๆ ถูกมอบหมายให้กับโมเดลเครือข่ายประสาท ผู้เชี่ยวชาญหลายคนมองว่าการ prompting แบบมีโครงสร้าง (ห่วงโซ่ ต้นไม้ กราฟความคิด) เป็นทิศทางที่มีแนวโน้ม ซึ่งสามารถเอาชนะข้อจำกัดของ «กล่องดำ» ในโมเดลเชิงลึกและเพิ่มความน่าเชื่อถือในการทำงานกับงานที่ซับซ้อน

วิธีการของ Graph-of-Thoughts ยังคงพัฒนาอย่างต่อเนื่อง ผู้เขียนเผยแพร่โค้ดและตัวอย่างสำหรับการดำเนินการ GoT ในรูปแบบสาธารณะ ช่วยให้ชุมชนทดลองกับแนวทางใหม่ มีส่วนขยายปรากฏขึ้นด้วย: เช่นเวอร์ชันมัลติโมดัลของกราฟความคิดที่รวมข้อความกับรูปภาพและข้อมูลประเภทอื่น รวมถึงความพยายามในการรวมแนวคิดของ GoT เข้าไปในสถาปัตยกรรมของโมเดลโดยตรง (เช่นในงานที่กล่าวถึงของ Yao et al., 2023) ในปี 2025 มีการเผยแพร่การทบทวนแบบอนุกรมวิธานโดยละเอียดของวิธีการ Chain-of-Thought, Tree-of-Thoughts และ Graph-of-Thoughts ซึ่งจัดระบบความรู้ที่สะสมและอธิบายรากฐานทางทฤษฎีของแนวทางดังกล่าว ทั้งหมดนี้บ่งบอกถึงความสนใจอย่างมากของชุมชนวิทยาศาสตร์ต่อการจัดการความคิดของ LLM แบบมีโครงสร้าง Graph-of-Thoughts ได้พิสูจน์ตัวเองแล้วว่าเป็นเครื่องมือที่มีประสิทธิภาพสำหรับการแก้ปัญหาที่ซับซ้อน และน่าจะกลายเป็นพื้นฐานสำหรับนวัตกรรมต่อไปในด้านการแก้ปัญหา AI ที่ผสมผสานพลังของโมเดลภาษาขนาดใหญ่เข้ากับความโปร่งใสและตรรกะของอัลกอริทึมแบบคลาสสิก

Ссылки - ลิงก์อ้างอิง

• บทความต้นฉบับ «Graph of Thoughts: Solving Elaborate Problems with Large Language Models» บน arXiv
• เวอร์ชัน HTML ของบทความต้นฉบับ
• การทบทวน «Demystifying Chains, Trees, and Graphs of Thoughts» บน arXiv
• บทความ «Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models» บน arXiv
• Multimodal Graph-of-Thoughts — บทความของ Deepgram
• LLMs Graph of Thoughts Framework — บทความบน Medium

Литература - บรรณานุกรม

• Besta, M. et al. (2024). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Yao, Y. et al. (2023). Beyond Chain-of-Thought: Effective Graph-of-Thought Reasoning in Language Models. arXiv:2305.16582.
• Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2024). Demystifying Chains, Trees, and Graphs of Thoughts. arXiv:2401.14295.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models (Kosmos-1). arXiv:2302.14045.
• Mitra, C. et al. (2024). Compositional Chain-of-Thought Prompting for Large Multimodal Models. In CVPR 2024. PDF.
• Zheng, G. et al. (2023). DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models. arXiv:2310.16436.
• Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467.