Self-consistency prompting (RO)

Decodare auto-consistentă (engl. Self-Consistency Prompting, SC) — este o metodă sau strategie de decodare în prompt engineering, destinată creșterii preciziei și fiabilității modelelor lingvistice mari (LLM) în rezolvarea sarcinilor ce necesită raționamente în mai mulți pași, precum puzzle-uri aritmetice și logice. Metoda a fost propusă de cercetători din Google Research în 2022 ca o îmbunătățire a tehnicii „lanțului de gânduri" (Chain-of-Thought, CoT).

Ideea principală constă în a nu se limita la o singură inferență „lacomă", ci în a genera mai multe variante diferite de raționamente pentru aceeași întrebare și apoi a selecta răspunsul final care apare cel mai frecvent dintre aceste variante. Abordarea se bazează pe un principiu intuitiv: dacă modelul, raționând pe căi diferite, ajunge în mod repetat la același rezultat, atunci acel rezultat este cu mare probabilitate corect.

Contextul și premisele

Metoda Self-Consistency reprezintă o dezvoltare directă a tehnicii Chain-of-Thought (CoT). Tehnica CoT, propusă de Wei și colab. (2022), a îmbunătățit semnificativ capacitatea LLM de a rezolva sarcini complexe, încurajând modelul să descrie explicit pașii soluției. Totuși, în implementarea de bază a CoT se utilizează „decodarea lacomă" (greedy decoding), în care la fiecare pas este selectat cel mai probabil token următor. Aceasta creează o limitare: dacă modelul comite o eroare la un stadiu timpuriu, nu mai poate devia de la acea traiectorie greșită pentru a o corecta. Self-Consistency a fost propus tocmai pentru a rezolva această problemă.

Mecanismul de funcționare

Algoritmul Self-Consistency înlocuiește abordarea deterministă lacomă cu o procedură de „eșantionare urmată de agregare" și constă din următorii pași:

1. Generarea mai multor căi de raționament: În loc de un singur răspuns, modelul generează de mai multe ori (de exemplu, până la 40 de ori) soluția pentru același prompt, utilizând metoda lanțului de gânduri. Pentru obținerea unor căi de raționament diverse se aplică metode de decodare stocastice, precum eșantionarea cu temperatură (cu parametrul de temperatură > 0).
2. Agregarea și selectarea răspunsului: Din toate lanțurile de raționament generate se extrag doar răspunsurile finale (de exemplu, o valoare numerică). Apoi, dintre aceste răspunsuri, este selectat cel mai frecvent întâlnit. Acesta este furnizat ca răspuns final.

Această abordare imită principiul „auto-ansamblu", unde multiple inferențe ale aceluiași model sunt utilizate pentru creșterea fiabilității și atenuarea erorilor aleatorii.

Eficiența și rezultatele

În cercetarea originală, Self-Consistency a demonstrat o creștere substanțială a preciziei pe o serie de benchmark-uri populare, în special în sarcinile ce necesită raționamente aritmetice și logice.

• Pe benchmark-ul de probleme matematice GSM8K, precizia modelului PaLM-540B a crescut de la 56,6% (cu CoT) la 74,4% (cu Self-Consistency), reprezentând un câștig de 17,8%.
• Pe alte sarcini aritmetice, precum SVAMP și AQuA, câștigul a fost de +11,0% și, respectiv, +12,2%.
• Pe sarcini ce necesită logică și bun simț, precum StrategyQA, îmbunătățirea a fost de +6,4%.

Aplicarea Self-Consistency a permis stabilirea unor noi recorduri de performanță (state-of-the-art) pe numeroase benchmark-uri la utilizarea unor modele de mari dimensiuni, precum GPT-3 175B și PaLM 540B.

Avantaje și limitări

Avantaje

• Creșterea preciziei: Îmbunătățește semnificativ rezultatele pe sarcini ce necesită raționamente complexe în mai mulți pași.
• Fiabilitate: Metoda este mai robustă față de erorile care pot apărea într-un singur lanț de raționament.
• Simplitatea implementării: Nu necesită antrenament suplimentar sau modificarea arhitecturii modelului. Metoda poate fi implementată ca un simplu „wrapper" în jurul unui model deja existent.

Limitări

• Costuri computaționale ridicate: Principalul dezavantaj — necesitatea generării repetate a răspunsului (de exemplu, de 10, 20 sau 40 de ori) pentru un singur prompt, ceea ce mărește proporțional costul și timpul de inferență.
• Aplicabilitate limitată: Metoda standard este cea mai eficientă pentru sarcinile cu un format de răspuns bine definit (de exemplu, număr, „da/nu", variantă dintr-o listă), unde votul majoritar poate fi aplicat cu ușurință. Ea se aplică cu dificultate sarcinilor cu generare liberă (scriere de eseuri, rezumare), unde răspunsurile sunt unice prin natura lor.
• Riscul erorii sistematice: Dacă modelul generează sistematic raționamente incorecte care, prin coincidență, converg spre același răspuns greșit, Self-Consistency nu doar că nu va corecta eroarea, ci va amplifica încrederea în aceasta.

Dezvoltarea metodei: Universal Self-Consistency

Limitarea metodei de bază pentru sarcinile cu răspuns în format liber a fost abordată în cercetările ulterioare. La sfârșitul anului 2023, un grup de cercetători de la Google DeepMind a propus abordarea Universal Self-Consistency (USC).

În USC, în loc de simpla votare pe baza răspunsurilor finale, pentru agregare se utilizează chiar LLM în calitate de „judecător". Modelul generează mai multe variante complete de soluție, iar apoi primește un nou prompt cu solicitarea de a alege dintre acestea pe cea „mai consistentă" sau „mai calitativă". Această abordare permite aplicarea principiilor auto-consistenței sarcinilor cu format de răspuns deschis și creativ.

Referințe

• Self-Consistency Improves Chain of Thought Reasoning in Language Models — articolul științific original de la Google Research.
• Self-Consistency — ghid pe Prompt Engineering Guide.

Bibliografie

• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Aggarwal, P. et al. (2023). Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs. arXiv:2305.11860.
• Chen, X. et al. (2023). Universal Self-Consistency with Large Language Models. arXiv:2311.17311.
• Knappe, T. et al. (2024). Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting. arXiv:2410.07839.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Li, T. et al. (2024). Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency. arXiv:2407.21443.
• Byerly, A.; Khashabi, D. (2024). How Effective Is Self-Consistency for Long-Context Problems?. arXiv:2411.01101.
• Novikova, J. et al. (2025). Consistency in Language Models: Current Landscape, Challenges, and Future Directions. arXiv:2505.00268.
• Admoni, S. et al. (2025). Towards Large Language Models with Self-Consistent Natural Language Explanations. arXiv:2506.07523.