Generated Knowledge Prompting (TR)

From Systems analysis Wiki
Jump to navigation Jump to search

Generated Knowledge Prompting (GKP, bilgi üretimiyle prompting) — büyük dil modellerinin (LLM) akıl yürütme ve olgusal bilgiye dayalı görevleri çözme kapasitesini geliştirmek amacıyla tasarlanmış bir prompt mühendisliği yöntemidir[1]. GKP'nin temel fikri, modelin görevi iki aşamada gerçekleştirmesini sağlamaktır: önce sorgunun konusuyla ilgili bir dizi ilgili olguyu üretmek, ardından bu bilgilere dayanarak nihai yanıtı oluşturmak[2].

Bu yaklaşım, LLM'lerin milyarlarca parametreye örtük olarak kodlanmış ancak standart sorgularda çoğunlukla erişilemeyen parametrik iç bilgilerini etkinleştirmesine ve kullanmasına olanak tanır. GKP, modellerin "ne bildiklerini bilmedikleri" sorununu çözerek doğru bir çıkarım oluşturmak için dağınık olguları bir araya getirmelerine yardımcı olur[2].

Tarih ve Köken

Generated Knowledge Prompting yöntemi ilk kez Jiacheng Liu önderliğindeki bir araştırmacı grubu tarafından hazırlanan "Generated Knowledge Prompting for Commonsense Reasoning" başlıklı bilimsel makalede tanıtılmıştır. Çalışmanın ilk sürümü arXiv ön baskı arşivinde 15 Ekim 2021 tarihinde yayımlanmış; nihai sürümü ise 2022 yılında prestijli Association for Computational Linguistics (ACL) konferansında sunulmuştur[1].

GKP, LLM ile etkileşim paradigmasını değiştirmeyi öneren ilk ve en önemli yöntemlerden biri olmuştur; odak noktasını anlık yanıt üretiminden iki aşamalı bilişsel bir sürece kaydırmıştır.

İki Aşamalı Çalışma Mekanizması

GKP mekanizması, karmaşık bir görevi iki daha basit alt sürece ayırır: ilgili bilgiyi çıkarma ve ardından bu bilgiyi çıkarım için kullanma.

Aşama 1: Bilgi Üretimi (Knowledge Generation)

İlk aşamada, kaynak soruyla ilgili birden fazla (M) bilgi parçası oluşturmak için bir dil modeli ("bilgi üreticisi") kullanılır. Bu süreç, modele "bağlam içinde" öğrenme için birkaç örnek sunulan few-shot prompting tekniğiyle başlatılır.

Bilgi üretimi için prompt'un kesin olarak belirlenmiş bir yapısı vardır:

  1. Talimat: "Konu hakkında birkaç olgu üret" gibi genel bir yönerge.
  2. Demonstrasyon örnekleri: İnsan tarafından yazılmış birkaç "soru-bilgi" çifti. Bu örnekler, modele hangi tür bilginin yararlı sayıldığını öğrettiğinden kritik öneme sahiptir. Üretilen bilginin yanıtı doğrudan içermemesi gerekir.
  3. Yeni soru: Bilgi üretilmesi gereken, kullanıcının özgün sorgusu.

Tek bir soru için M bilgi varyantı üretilir (orijinal çalışmada M=20), böylece ikinci aşama için çeşitli bir olgular kümesi elde edilir[1].

Aşama 2: Bilgi Entegrasyonu ve Yanıt Oluşturma (Knowledge Integration)

İkinci aşamada, hem zero-shot modunda çalışabilen hem de belirli bir görev için ince ayar yapılmış başka bir dil modeli ("çıkarım modeli") kullanılır.

Entegrasyon süreci şu şekilde gerçekleşir:

  1. Sorgu zenginleştirme: Özgün soru (q), üretilen M bilgi parçasının (km) her biriyle sırayla birleştirilir. Sonuç olarak M+1 zenginleştirilmiş sorgu oluşturulur (bilgi eklenmemiş özgün soru dahil).
  2. Yanıt değerlendirme ve seçimi: Çıkarım modeli, her zenginleştirilmiş sorgu için olası her yanıt varyantının (a) koşullu olasılığını değerlendirir. Nihai yanıt olarak sorgulardan en az birinde en yüksek olasılık puanını alan varyant seçilir.

Bu iki aşamalı mekanizma, bir tür üstbilişsel süreç ortaya koymaktadır: "Yanıtlamadan önce, bu konu hakkında ne bildiğini düşün ve formüle et".

Etkinlik ve Test Sonuçları

GKP'nin etkinliği, sağduyu akıl yürütmesini değerlendiren bir dizi akademik benchmark üzerinde sınanmıştır. Yöntem, temel yaklaşımlara kıyasla performansta kayda değer bir iyileşme sergilemiştir.

GKP'nin temel benchmark'lardaki sonuçlarının özeti (Liu ve diğ., 2022 verilerinden)[1]
Benchmark adı Görev Temel model doğruluğu (%) GKP ile doğruluk (%) Artış (%)
NumerSense Sayısal sağduyu 64.05 72.47 +8.42
CommonsenseQA Genel sağduyu 39.89 47.26 +7.37
CommonsenseQA 2.0 Genel sağduyu 70.20 73.03 +2.83
QASC Bilimsel sağduyu 76.74 80.33 +3.59

En büyük artış zero-shot modunda gözlemlenmektedir; bu durum, GKP'nin ek ince ayar gerektirmeksizin modelin iç bilgisini etkin biçimde etkinleştirebilme kapasitesini kanıtlamaktadır.

Diğer Tekniklerle Karşılaştırmalı Analiz

GKP vs. Chain-of-Thought (CoT)

GKP ile Chain-of-Thought (CoT) arasındaki temel fark, üretilen bilginin türünde yatmaktadır:

  • GKP, açıklayıcı bilgi üretir — dünya hakkındaki olgular, tanımlar, önermeler («ne»). Modele ek bağlam sağlar.
  • CoT, prosedürel bilgi üretir — mantıksal adımlar, hesaplamalar, çıkarım dizisi («nasıl»). Modele akıl yürütme yolunu sağlar.

Dolayısıyla GKP olgusal temeli, CoT ise çıkarımın mantıksal yapısını sağlar[3].

GKP vs. Retrieval-Augmented Generation (RAG)

GKP'nin aksine, Retrieval-Augmented Generation (RAG) yöntemi harici, parametrik olmayan bilgi kaynakları kullanır.

  • GKP, modelin eğitim sırasında edindiği iç bilgiyi kullanır. Modeli, halihazırda bildiği şeyi "hatırlamaya" zorlar.
  • RAG, veritabanlarından, belgelerden veya internetten harici bilgi kullanır. Modeli, dış dünyada bilgiyi "aramaya" zorlar.

GKP ile RAG arasındaki seçim göreve bağlıdır: GKP, gereken bilginin genel kabul görmüş ve eğitim verilerinde iyi temsil edildiği durumlarda etkindir; RAG ise son derece uzmanlaşmış, güncel veya özel veriler için vazgeçilmezdir.

Sınırlılıklar ve Riskler

  • "Halüsinasyon" sorunu: GKP'nin temel riski, hatalı olgular üretme olasılığıdır. İlk aşamada model yanlış bir önerme üretirse, ikinci aşamada bu önerme doğruymuş gibi kabul edilir ve sonuçta özgüvenli ancak tamamen yanlış bir yanıt ortaya çıkar.
  • Hesaplama maliyeti: Yöntem, LLM'ye birden fazla kez başvurulmasını gerektirir (tek bir sorgu için M+1 çağrı); bu durum, standart prompting'e kıyasla yanıt süresini (latency) ve kullanım maliyetini önemli ölçüde artırır.
  • Prompt geliştirmenin güçlüğü: GKP'nin etkinliği, few-shot örneklerinin kalitesine büyük ölçüde bağlıdır; bu örneklerin oluşturulması ise basit olmayan ve emek yoğun bir görevdir.

Evrim ve Hibrit Yaklaşımlar

GKP'de ortaya konan fikirler, aşağıdaki gibi daha karmaşık ve güvenilir prompting tekniklerinin geliştirilmesine ivme kazandırmıştır:

  • Hint-before-Solving (HSP): GKP'nin doğrudan fikir mirasçısı olan bu yöntem, iki aşamalı ilkeyi ("önce bilgi, sonra eylem") basit bir yanıta değil, CoT'taki daha karmaşık akıl yürütme sürecine uygular[4].
  • Verify-and-Edit (VE): GKP ve CoT'taki "halüsinasyon" sorununa yanıt olarak ortaya çıkan hibrit bir framework'tür. VE önce bir akıl yürütme zinciri üretir (CoT gibi), ardından harici arama kullanarak temel olguları otomatik olarak doğrular (RAG gibi) ve nihai yanıtı üretmeden önce akıl yürütmeyi düzenler[5].

Dış bağlantılar

  • Generated Knowledge Prompting — Prompt Engineering Guide'da

Kaynakça

  • Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
  • Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
  • Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
  • Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
  • Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
  • Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
  • Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
  • Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
  • Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467

Notlar

  1. ↑ 1.0 1.1 1.2 1.3 Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. [1]
  2. ↑ 2.0 2.1 Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». arXiv preprint arXiv:2110.08387. [2]
  3. ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv preprint arXiv:2201.11903. [3]
  4. ↑ Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». arXiv preprint arXiv:2402.14310. [4]
  5. ↑ Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». arXiv preprint arXiv:2305.03268. [5]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generated_Knowledge_Prompting_(TR)&oldid=2598"