Chain-of-Verification (TR)

Chain-of-Verification (CoVe) — büyük dil modellerinde (LLM) halüsinasyon sayısını azaltmak amacıyla önerilen bir yöntemdir (gerçekte yanlış olan ancak makul görünen yanıtların üretilmesi). Shehzaad Dhuliawala liderliğinde Meta AI'dan bir araştırmacı grubu tarafından geliştirilen ve «Chain-of-Verification Reduces Hallucination in Large Language Models» (2023) adlı çalışmada sunulan bu yaklaşım, LLM'lerin öz-doğrulama ve öz-düzeltme (self-verification) yöntemleri sınıfına girmektedir. CoVe'nin temel fikri, üretilen yanıtın dış kaynaklara başvurmadan modelin kendisi tarafından aşamalı olarak doğrulanmasıdır. Bu, sistemin yanıtı kullanıcıya sunmadan önce öz-analize ve kendi hatalarını düzeltmeye daha fazla "akılcı" çaba harcamasını teşvik eder.

Arka Plan: Dil Modellerinde Halüsinasyonlar

Büyük dil modelleri (LLM), çoğu zaman «halüsinasyon» olgusundan muzdariptir — görünüşte makul ancak gerçekte yanlış olan yanıtlar üretilmesi. Bu sorun NLP alanında yaygın biçimde çözümsüz bir problem olarak kabul görmektedir: günümüz modelleri bile yüksek güvenle yanlış bilgi sunarak kullanıcıları yanıltabilmektedir. Örneğin bir model, var olmayan bir gerçeği ikna edici biçimde "uydurabilir" ya da tanınmış bir kişinin biyografik bilgilerini karıştırabilir. Bu tür olgusal hatalar ayrıntılı bir doğrulama yapılmadan fark edilmesi zor olduğundan, araştırmacılar LLM yanıtlarındaki halüsinasyon sayısını azaltmaya yönelik yöntemleri aktif olarak geliştirmektedir.

CoVe Yönteminin Aşamaları

Chain-of-Verification yöntemi dört ardışık adım üzerinden gerçekleştirilir:

1. Temel yanıtın üretilmesi. Model, özel talimatlar olmaksızın özgün sorguya başlangıç yanıtını (temel yanıt hipotezi) üretir. Bu taslak yanıt, başlangıç noktası olarak işlev görür ve sonraki adımlarda tespit edilmesi gereken halüsinasyonlar içerebilir.
2. Doğrulama sorularının planlanması. Özgün soru ve üretilen yanıt göz önünde bulundurularak model, temel yanıttaki ifadelerin olgusal doğruluğunu denetleyen bir doğrulayıcı soru listesi oluşturur. Bu verification questions (doğrulama soruları), yanıtın kilit gerçeklerine odaklanır ve olası hata ya da yanlışlıkların ortaya çıkarılmasına yardımcı olur.
3. Doğrulama adımının yürütülmesi (verifikasyon). Ardından model, ilk yanıta bağımlılığı önlemek amacıyla önyargıdan kaçınarak her bir doğrulama sorusunu sırayla ve bağımsız biçimde yanıtlar. Elde edilen yanıtlar, çelişkileri veya hataları tespit etmek amacıyla özgün yanıtla karşılaştırılır: bu sayede özgün yanıtın gerçeklerle desteklenmeyen bölümleri belirlenir.
4. Nihai yanıtın oluşturulması. Son olarak, tespit edilen tutarsızlıklara dayanarak model düzeltilmiş ve kesinleştirilmiş yanıtı üretir. Bu yanıta doğrulama sonuçları doğrultusunda düzeltmeler eklenir; bu durum olgusal doğruluğu artırır ve halüsinasyon olasılığını azaltır.

Bu aşamaların her biri, aynı LLM'e farklı talimatlarla yapılan ek sorgular aracılığıyla gerçekleştirilir. Yani model sırasıyla yanıtlayıcı, ardından denetçi (soru sorar ve yanıtlar) ve son olarak nihai çıktının editörü rolünü üstlenir.

Doğrulama Uygulama Biçimleri

Yöntemin yazarları, doğrulama adımının birkaç farklı uygulama biçimini denemiştir; bu biçimler doğrulama sorularının sorulma ve yanıtlanma yöntemleri bakımından birbirinden ayrılır:

• Birleşik yaklaşım (Joint). Model, hem doğrulama sorularını hem de yanıtlarını tek bir sorgu çerçevesinde üretir. Hemen yanıt veren model, kayma (bias) nedeniyle özgün yanıtın hatalarını tekrarlayabildiğinden bu seçenek daha az tercih edilir.
• İki aşamalı yaklaşım (2-Step). Doğrulama soruları önce ayrı bir sorguyla üretilir, ardından izleyen sorguda model oluşturulan soru listesini yanıtlar. Aşamaların ayrılması, soru üretimi sırasında özgün yanıtın etkisinden kaçınmaya yardımcı olur.
• Ayrı doğrulama (Factored). Model, her doğrulama sorusunu birden fazla ardışık sorgu kullanarak ayrı ayrı yanıtlar (her soru için bir sorgu). Bu yaklaşım, özgün yanıttan doğrudan kopyalama yapılmasını önler: doğrulama sorularına verilen yanıtlar bağımsız biçimde oluşturulur ve bu durum ilk halüsinasyonun tekrar edilme riskini azaltır. Dezavantajı ise sorgu sayısının soru sayısıyla orantılı biçimde artması nedeniyle yükselen hesaplama maliyetidir.
• Revizyon içeren ayrı doğrulama (Factored + Revise). Tüm doğrulama sorularına yanıt alındıktan sonra model ek bir karşılaştırma ve revizyon aşaması gerçekleştirir. Ayrı bir sorgu yardımıyla elde edilen gerçekleri özgün yanıtla karşılaştırır ve tutarsızlıkları açıkça işaretler; ardından düzeltmeleri içeren nihai yanıtı üretir. Bu ek adım, sistemi tutarsızlıkları daha dikkatli analiz etmeye ve düzeltilmiş bilgileri nihai çıktıya entegre etmeye zorlar.

Deneysel Sonuçlar

Chain-of-Verification yöntemi, yanıtların olgusal doğruluğuna duyarlı bir dizi görevde test edilmiştir. Bu görevler arasında bilgi tabanı üzerinden olgu listeleme soruları (Wikidata listeleri ve Wikipedia kategorileri), metnin farklı bölümlerinden birden fazla yanıt gerektiren sorular (MultiSpanQA) ve kapsamlı metin üretme görevleri (örneğin biyografi üretimi) yer almaktadır.

Sonuçlar, CoVe kullanımının tüm görev türlerinde öz-doğrulama içermeyen temel modellerle karşılaştırıldığında halüsinasyonlarda belirgin bir azalma sağladığını göstermiştir. Özellikle factored + revise biçimi — yani nihai gerçek karşılaştırması içeren ayrı doğrulama — en etkili sonuçlar vermiştir. Bu yaklaşım en yüksek doğruluk değerlerini elde etmiştir: örneğin biyografik metin üretme görevinde CoVe'nin LLaMA-65B modeline (65 milyar parametreli LLM) uygulanması, modelin olgusal metriği olan FactScore değerini yaklaşık 63,7'den yaklaşık 71,4 puana yükseltmiştir. FactScore değerindeki bu artış, nihai yanıtların doğrulanmış daha fazla gerçek ve daha az uydurulmuş bilgi içerdiğine işaret etmektedir.

Bunun ötesinde, doğrulama zinciri eklenen LLM, daha güçlü ya da özel olarak donatılmış bazı sistemleri bile geride bırakmayı başarmıştır. Öyle ki CoVe ile desteklenen LLaMA-65B, ChatGPT (OpenAI modeli) modelinden daha yüksek FactScore elde etmiş ve yanıtları olgusal açıdan desteklemek amacıyla internet aramasıyla güçlendirilmiş bir model olan Perplexity.ainin önüne geçmiştir. Bu dikkat çekicidir; zira Perplexity bilgi aramak için dış kaynaklar kullanırken CoVe, kalite iyileştirmesini yalnızca modelin kendi içsel akıl yürütme ve öz-doğrulama kapasitesine dayanarak elde etmektedir. Ancak en nadir gerçeklerde (özgün bilgi gerektiren durumlarda) Perplexity gibi retrieval tabanlı sistemler hâlâ avantajını korumaktadır; bununla birlikte soruların büyük çoğunluğunda CoVe daha doğru yanıtlar üretmiştir.

Sınırlamalar ve Gelecek Perspektifler

Belirtmek gerekir ki Chain-of-Verification halüsinasyon oranını belirgin biçimde azaltsa da bu yöntemi tamamen ortadan kaldıramamaktadır. Doğrulama soruları hatalı bir ayrıntıyı kapsamadığında veya LLM'nin kendisi doğru gerçeği bilmediğinde model hâlâ hata yapabilmektedir. Bunun yanı sıra CoVe, hesaplama yükünü artırmaktadır: tek bir kullanıcı sorgusunun yanıtlanması için modele sıralı birden fazla başvuru yapılması gerekmekte (yanıt üretimi, soru üretimi, soruların yanıtlanması, nihai derleme), oysa standart modeller tek bir adımda yanıt vermektedir. Bununla birlikte yazarlar, toplam maliyet açısından CoVe'nin diğer çok aşamalı halüsinasyon tespit yaklaşımlarıyla kıyaslanabilir düzeyde olduğunu ve pratik bir çözüm olmaya devam ettiğini göstermektedir.

Meta AI araştırmacıları çalışmalarında yöntemin iyileştirilmesine yönelik olası yönlere de dikkat çekmiştir. Açık bir yol, CoVe'yi dış araçlarla birleştirmektir — örneğin doğrulama aşamasında bir internet arama modülü ya da bilgi tabanları devreye sokulabilir. Bu sayede dışarıdan güvenilir bilgiler elde etmek ve özgün yanıttaki gerçekleri daha güvenilir biçimde teyit etmek ya da çürütmek mümkün olabilecektir. Böylece Chain-of-Verification, daha sorumlu ve doğru yapay zekâ sistemlerine giden bir adım niteliği taşımaktadır: modeli kendi yanıtını eleştirel biçimde gözden geçirmeye zorlayarak yanıtın kalitesinin önemli ölçüde artırılabileceğini ve üretilen metindeki uydurulmuş gerçeklerin yayılmasının azaltılabileceğini ortaya koymaktadır.

Dış bağlantılar

• arXiv'deki «Chain-of-Verification Reduces Hallucination in Large Language Models» adlı özgün makale
• ACL Anthology'deki «Chain-of-Verification Reduces Hallucination in Large Language Models» makalesi
• Chain of Verification (CoVe) — Understanding & Implementation — Medium'da yayımlanan makale

Kaynakça

• Dhuliawala, S. et al. (2023). Chain-of-Verification Reduces Hallucination in Large Language Models. arXiv:2309.11495.
• Manakul, P. et al. (2023). SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv:2303.08896.
• Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
• Ling, Z. et al. (2023). Deductive Verification of Chain-of-Thought Reasoning. arXiv:2306.03872.
• Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.