Chain-of-Verification (SV)

Chain-of-Verification (CoVe) — är en metod som föreslagits för att minska antalet hallucinationer (generering av faktafelaktiga men trovärdiga svar) i stora språkmodeller (LLM). Metoden, som utvecklades av en forskargrupp från Meta AI under ledning av Shehzaad Dhuliawala och presenterades i artikeln «Chain-of-Verification Reduces Hallucination in Large Language Models» (2023), tillhör klassen metoder för självverifiering och självkorrigering (self-verification) av LLM. Grundidén med CoVe är att stegvis låta modellen själv verifiera det genererade svaret utan att använda externa källor. Detta uppmuntrar systemet att lägga mer «förnuftiga» ansträngningar på självanalys av svaret och korrigering av sina egna fel innan svaret presenteras för användaren.

Bakgrund: hallucinationer i språkmodeller

Stora språkmodeller (LLM) lider ofta av fenomenet «hallucinationer» – generering av svar som ser trovärdiga ut men är faktafelaktiga. Detta problem är allmänt erkänt som olöst inom NLP: även moderna modeller kan med hög säkerhet ge falsk information och vilseleda användare. Till exempel kan en modell övertygande «hitta på» ett icke-existerande faktum eller blanda ihop biografiska uppgifter om en känd person. Eftersom sådana faktafel är svåra att upptäcka utan detaljerad granskning arbetar forskare aktivt med att utveckla metoder för att minska antalet hallucinationer i LLM-svar.

Steg i CoVe-metoden

Metoden Chain-of-Verification genomförs i fyra sekventiella steg:

1. Generering av grundsvar. Modellen genererar utan särskilda instruktioner ett initialt svar på den ursprungliga frågan (en grundläggande svarhypotes). Detta utkast till svar utgör startpunkten och kan innehålla hallucinationer som ska upptäckas i efterföljande steg.
2. Planering av verifieringsfrågor. Med utgångspunkt i originalfrågan och det genererade svaret formulerar modellen en lista med specificerande frågor som kontrollerar den faktamässiga riktigheten hos påståendena i grundsvaret. Dessa verification questions riktar in sig på svarets nyckeluppgifter och hjälper till att identifiera eventuella fel eller felaktigheter.
3. Genomförande av verifiering. Därefter besvarar modellen sekventiellt och självständigt var och en av de formulerade verifieringsfrågorna, och försöker undvika att förlita sig på det ursprungliga svaret för att undgå partiskhet. De erhållna svaren jämförs med originalsvaret för att hitta motsägelser eller fel: på så sätt identifieras de delar av originalsvaret som inte stöds av fakta.
4. Skapande av det slutliga svaret. Slutligen genererar modellen, utifrån de funna avvikelserna, ett korrigerat slutsvar. I detta svar görs justeringar med hänsyn till verifieringens resultat, vilket ökar dess faktamässiga noggrannhet och minskar risken för hallucinationer.

Vart och ett av dessa steg utförs med hjälp av ytterligare förfrågningar till samma LLM, men med olika instruktioner. Det vill säga att modellen omväxlande agerar som svarare, sedan som verifierare (ställer frågor och besvarar dem), och slutligen som redaktör för det slutliga resultatet.

Varianter av verifieringsimplementering

Metodens upphovsmän provade flera lägen för implementering av verifieringssteget, som skiljer sig åt i hur verifieringsfrågorna ställs och besvaras:

• Kombinerad metod (Joint). Modellen genererar både verifieringsfrågorna och svaren på dem inom ramen för en enda förfrågan. Denna variant är mindre att föredra, eftersom modellen när den svarar direkt kan hallucinerauppgifter och upprepa felen från det ursprungliga svaret på grund av snedvridning.
• Tvåstegsmetod (2-Step). Verifieringsfrågorna genereras först i en separat förfrågan, och sedan besvarar modellen i en följande förfrågan den sammansatta listan med frågor. Uppdelningen av stegen hjälper till att undvika påverkan från det ursprungliga svaret vid genereringen av frågorna.
• Separat verifiering (Factored). Modellen besvarar varje verifieringsfråga separat, med hjälp av flera sekventiella förfrågningar (en per fråga). Detta tillvägagångssätt förhindrar enkel kopiering av fragment från det ursprungliga svaret: svaren på verifieringsfrågorna formuleras autonomt, vilket minskar risken för att den ursprungliga hallucinationen upprepas. Nackdelen är den ökade beräkningskostnaden, eftersom antalet förfrågningar ökar proportionellt mot antalet frågor.
• Separat verifiering med revision (Factored + Revise). Efter att ha fått svar på alla verifieringsfrågor utför modellen ett ytterligare steg av jämförelse och revision. Med hjälp av en separat förfrågan jämför den de erhållna fakta med det ursprungliga svaret och noterar explicit avvikelserna, varefter den genererar det slutliga svaret med korrigeringar. Detta extra steg tvingar systemet att mer noggrant analysera avvikelserna och integrera den korrigerade informationen i det slutliga resultatet.

Experimentella resultat

Metoden Chain-of-Verification testades på ett antal uppgifter som är känsliga för faktamässig noggrannhet i svaren. Bland dessa fanns: frågor om uppräkning av fakta från kunskapsbaser (listor från Wikidata och Wikipedia-kategorier), frågor med flera svar från olika delar av texten (MultiSpanQA), samt uppgifter för generering av utförlig text (till exempel biografier).

Resultaten visade en betydande minskning av hallucinationer inom alla uppgiftstyper vid användning av CoVe jämfört med de ursprungliga modellerna utan självverifiering. Särskilt effektiv visade sig varianten factored + revise – separat verifiering med slutlig faktakontroll. Detta tillvägagångssätt gav de bästa noggrannhetsmåtten: till exempel ökade tillämpningen av CoVe på modellen LLaMA-65B (en LLM med 65 miljarder parametrar) dess faktamässiga mätvärde FactScore från ~63,7 till ~71,4 poäng vid uppgiften att generera biografisk text. Ökningen av FactScore indikerar att de slutliga svaren kom att innehålla fler verifierade fakta och färre påhittade uppgifter.

Därutöver lyckades LLM med en kopplad verifieringskedja överträffa till och med vissa kraftfullare eller särskilt utrustade system. Sålunda uppvisade LLaMA-65B med CoVe ett högre FactScore än ChatGPT (OpenAI:s modell) och slog Perplexity.ai — en modell utökad med internetsökning för faktastöd i svaren. Detta är anmärkningsvärt eftersom Perplexity använder externa källor för informationssökning, medan CoVe uppnår förbättrad kvalitet enbart med stöd av modellens egna interna förmågor till resonemang och självverifiering. Visserligen behåller ett retrieval-baserat system som Perplexity fortfarande ett försprång när det gäller mycket sällsynta fakta (där specifika kunskaper krävs), men på de flesta frågor gav CoVe mer precisa svar.

Begränsningar och framtidsutsikter

Det bör noteras att även om Chain-of-Verification märkbart minskar andelen hallucinationer kan metoden inte eliminera dem helt. Modellen kan fortfarande göra fel om verifieringsfrågorna inte täckte en felaktig detalj, eller om LLM:en själv inte känner till det korrekta faktum. Dessutom ökar CoVe beräkningsbelastningen: för en enda användarfråga krävs flera sekventiella anrop till modellen (generering av svar, generering av frågor, besvarande av dessa, slutlig sammansättning), medan en vanlig modell svarar i ett enda steg. Icke desto mindre visar upphovsmännen att CoVe i fråga om totala kostnader är jämförbart med andra flerstegiga metoder för att detektera hallucinationer och förblir en praktisk lösning.

I sin artikel angav Meta AI-forskarna möjliga riktningar för att förbättra metoden. En uppenbar väg är att kombinera CoVe med användning av externa verktyg, till exempel att koppla in en modul för internetsökning eller kunskapsbaser under verifieringssteget. Detta skulle göra det möjligt att hämta tillförlitlig information utifrån och ännu mer tillförlitligt bekräfta eller motbevisa fakta från det ursprungliga svaret. Chain-of-Verification utgör således ett steg mot mer ansvarsfulla och precisa AI-system: det demonstrerar att genom att tvinga modellen att kritiskt ompröva sitt eget svar kan man avsevärt förbättra dess kvalitet och minska spridningen av påhittade fakta i den genererade texten.

Källor

• Originalartikel «Chain-of-Verification Reduces Hallucination in Large Language Models» på arXiv
• Artikel «Chain-of-Verification Reduces Hallucination in Large Language Models» i ACL Anthology
• Chain of Verification (CoVe) — Understanding & Implementation — artikel på Medium

Litteratur

• Dhuliawala, S. et al. (2023). Chain-of-Verification Reduces Hallucination in Large Language Models. arXiv:2309.11495.
• Manakul, P. et al. (2023). SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv:2303.08896.
• Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
• Ling, Z. et al. (2023). Deductive Verification of Chain-of-Thought Reasoning. arXiv:2306.03872.
• Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.