Self-consistency prompting (HU)

Önkonzisztens dekódolás (ang. Self-Consistency Prompting, SC) — egy dekódolási módszer vagy stratégia a prompt-inženýrstviben, amelynek célja a nagy nyelvi modellek (LLM) pontosságának és megbízhatóságának növelése olyan feladatok megoldásában, amelyek többlépéses következtetést igényelnek, mint például aritmetikai és logikai fejtörők. A módszert a Google Research kutatói javasolták 2022-ben, a „gondolatláncok" (Chain-of-Thought, CoT) technika továbbfejlesztéseként.

Az alapötlet az, hogy ne egyetlen „mohó" következtetésre korlátozzuk magunkat, hanem ehelyett ugyanarra a kérdésre számos különböző következtetési változatot generáljunk, majd kiválasszuk azt a végső választ, amely ezek között a leggyakrabban szerepel. A megközelítés egy intuitív elven alapul: ha a modell különböző utakon haladva többszörösen ugyanarra az eredményre jut, akkor ez az eredmény nagy valószínűséggel helyes.

Kontextus és előzmények

A Self-Consistency módszer a Chain-of-Thought (CoT) technika közvetlen továbbfejlesztése. A Wei és munkatársai (2022) által javasolt CoT technika jelentősen javította az LLM-ek azon képességét, hogy összetett feladatokat oldjanak meg azáltal, hogy a modellt a megoldás lépéseinek explicit kifejtésére ösztönzi. Az alap CoT megvalósítás azonban „mohó dekódolást" (greedy decoding) alkalmaz, amelynek során minden lépésnél a legvalószínűbb következő token kerül kiválasztásra. Ez korlátot jelent: ha a modell egy korai szakaszban hibát ejt, nem tud eltérni ettől a helytelen pályától és kijavítani azt. A Self-Consistency éppen ennek a problémának a megoldására lett javasolva.

A működési mechanizmus

A Self-Consistency algoritmusa a determinisztikus mohó megközelítést egy „mintavételezéssel majd aggregálással" elvű eljárással váltja fel, és a következő lépésekből áll:

1. Több következtetési útvonal generálása: Egyetlen válasz helyett a modell ugyanarra a kérésre többször (például akár 40-szer) generál megoldást, gondolatlánc módszert alkalmazva. A változatos következtetési utak előállításához sztochasztikus dekódolási módszereket alkalmaznak, mint például a hőmérsékleti mintavételezés (0-nál nagyobb hőmérsékleti paraméterrel).
2. Aggregálás és válaszválasztás: Az összes generált következtetési láncból csak a végső válaszokat vonják ki (például egy numerikus értéket). Ezután ezek közül a leggyakrabban előforduló kerül kiválasztásra. Ez a válasz lesz a végső kimenet.

Ez a megközelítés az „önegyüttesítés" elvét utánozza, ahol ugyanazon modell többszöri következtetése a megbízhatóság növelésére és a véletlenszerű hibák elsimítására szolgál.

Hatékonyság és eredmények

Az eredeti kutatásban a Self-Consistency jelentős pontosságnövekedést mutatott számos népszerű benchmark esetén, különösen aritmetikai és logikai következtetést igénylő feladatoknál.

• A GSM8K matematikai feladatokat tartalmazó benchmarkon a PaLM-540B modell pontossága 56,6%-ról (CoT-tal) 74,4%-ra (Self-Consistency-vel) nőtt, ami 17,8%-os növekedést jelent.
• Más aritmetikai feladatokon, mint a SVAMP és az AQuA, a növekedés +11,0% és +12,2% volt.
• A logikát és józan észt igénylő feladatokon, mint a StrategyQA, a javulás +6,4% volt.

A Self-Consistency alkalmazása új teljesítményrekordokat (state-of-the-art) eredményezett számos benchmarkon, nagy modellek, például a GPT-3 175B és a PaLM 540B esetén.

Előnyök és korlátok

Előnyök

• Pontosság növelése: Jelentősen javítja az eredményeket összetett, többlépéses következtetést igénylő feladatokon.
• Megbízhatóság: A módszer ellenállóbb azokkal a hibákkal szemben, amelyek egyetlen következtetési láncban fordulhatnak elő.
• Egyszerű megvalósítás: Nem igényel további betanítást vagy a modell architektúrájának módosítását. A módszer megvalósítható egy meglévő modell egyszerű „burkojaként\".

Korlátok

• Magas számítási költség: A fő hátrány az, hogy egyetlen kéréshez több válasz generálása szükséges (például 10, 20 vagy 40-szer), ami arányosan növeli a következtetés költségét és idejét.
• Korlátozott alkalmazhatóság: Az alap módszer leginkább olyan feladatoknál hatékony, amelyeknek egyértelműen meghatározott válaszformátumuk van (például szám, „igen/nem", listából választható elem), ahol könnyen elvégezhető a többségi szavazás. Rosszul alkalmazható nyílt végű generálási feladatoknál (esszéírás, összefoglalás), ahol a válaszok formájukban egyediek.
• Szisztematikus hiba kockázata: Ha a modell szisztematikusan helytelen következtetéseket generál, amelyek véletlenszerűen ugyanarra a téves válaszra konvergálnak, a Self-Consistency nemcsak hogy nem javítja ki a hibát, de megerősíti a belé vetett bizalmat.

A módszer fejlesztése: Universal Self-Consistency

Az alapmódszer szabad formátumú válaszokra vonatkozó korlátait a subsequent kutatások kezelték. 2023 végén a Google DeepMind kutatóinak egy csoportja javasolta az Universal Self-Consistency (USC) megközelítést.

Az USC-ben az aggregáláshoz a végső válaszok egyszerű szavazása helyett magát az LLM-et használják „bíróként\". A modell több teljes megoldási változatot generál, majd egy új promptot kap, amelyben arra kérik, hogy válassza ki közülük a „leginkább konzisztenst" vagy a „legjobb minőségűt\". Ez a megközelítés lehetővé teszi az önkonzisztencia elvének alkalmazását nyílt és kreatív válaszformátumú feladatoknál.

Hivatkozások

• Self-Consistency Improves Chain of Thought Reasoning in Language Models — eredeti tudományos cikk a Google Research-től.
• Self-Consistency — útmutató a Prompt Engineering Guide-on.

Irodalom

• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Aggarwal, P. et al. (2023). Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs. arXiv:2305.11860.
• Chen, X. et al. (2023). Universal Self-Consistency with Large Language Models. arXiv:2311.17311.
• Knappe, T. et al. (2024). Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting. arXiv:2410.07839.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Li, T. et al. (2024). Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency. arXiv:2407.21443.
• Byerly, A.; Khashabi, D. (2024). How Effective Is Self-Consistency for Long-Context Problems?. arXiv:2411.01101.
• Novikova, J. et al. (2025). Consistency in Language Models: Current Landscape, Challenges, and Future Directions. arXiv:2505.00268.
• Admoni, S. et al. (2025). Towards Large Language Models with Self-Consistent Natural Language Explanations. arXiv:2506.07523.