Least-to-most Prompting (TR)

Least-to-Most Prompting (LtM) — büyük dil modelleri (LLM) için prompt geliştirme yöntemidir; karmaşık görevleri daha basit aşamalara ayrıştırarak bu alt görevleri ardışık biçimde çözmeye olanak tanır. Bu yaklaşım, 2022 yılında Denny Zhou önderliğindeki Google Brain araştırmacı grubu tarafından önerilmiş ve ICLR 2023 konferansında sunulmuştur. Yöntemin temel amacı, Chain-of-Thought prompt'larının sınırlılığını aşmaktır; zira bu prompt'lar, modele prompt öğretimi sırasında gösterilen örneklerden daha karmaşık görevlerle başa çıkmakta yetersiz kalmaktadır. Least-to-Most Prompting, modelin daha yüksek zorlukta görevlere genellemesine olanak tanırken yorumlanabilir kalmakta ve sinir ağının ek eğitim gerektirmemesini sağlamaktadır. Yöntemin adı, pedagojik psikolojiden ödünç alınmıştır; burada "least to most prompting", öğrenciye yeni bir beceriyi kazandırmak amacıyla giderek artan düzeyde yardım içeren bir ipucu dizisi sunulmasını ifade eder.

Yöntemin Açıklaması

Least-to-Most Prompting yöntemi iki aşamada uygulanır; her aşama, dil modeline özenle hazırlanmış prompt'lar aracılığıyla (modelin ek ince ayarı yapılmaksızın) verilir:

1. Görevin ayrıştırılması. Birinci aşamada model, karmaşık bir görevi daha basit alt görevler dizisine nasıl böleceğini gösteren talimat ve örnekler alır. Ardından modele belirli ve karmaşık bir soru sunulur; model, basitleştirilmiş ara sorular listesi üretmelidir. Örneğin, karmaşık bir görev için model, kaynak sorunun bir bölümünü ele alan bir alt soruyu bağımsız olarak formüle edebilir.
2. Alt görevlerin ardışık çözümü. İkinci aşamada model, elde edilen alt görevleri en basitten en karmaşığa doğru sırasıyla çözer. Bunun için her alt görevin önüne bağlam yerleştirilir: benzer alt sorunların çözüm örnekleri ve (varsa) halihazırda çözülmüş önceki alt görevler ile yanıtları. İlk alt görevi çözdükten sonra model, yanıtı prompt metnine ekler ve önceki çözümleri bağlam olarak kullanarak bir sonraki alt görevi alır. Bu süreç, kaynak soruyu doğrudan yanıtlayan son ve en karmaşık alt görev çözülene kadar devam eder.

Örnek: kaynak metin görevi, Least-to-Most yöntemiyle iki aşamaya ayrılır. Önce model bir ara soruyu formüle eder ve çözer ("How long does each trip take?" — "Her gidiş-dönüş ne kadar sürer?"), "each trip takes 5 minutes" ("her gidiş-dönüş 5 dakika sürer") yanıtını alır. Bu yanıt, bir sonraki alt görevle — kaynak soruyla ("How many times can she slide before it closes?" — "Tesis kapanmadan önce kaç kez kayabilir?") birlikte yeni bir prompt'a eklenir. Önceki sonucu kullanan model, nihai yanıtı hesaplar (bu örnekte: 3 kez).

Temel olarak, Least-to-Most Prompting standart chain-of-thought yaklaşımından şu bakımdan farklılaşır: tek bir yanıt çerçevesinde kesintisiz bir "düşünce zinciri" üretmek yerine, bilgi birikimiyle ayrı sorgulara bölünmüş bir akıl yürütme süreci oluşturur. Bu aşamalı, özyinelemeli yaklaşım modelin görevin giderek daha karmaşık boyutlarına geçmesini sağlar ve easy-to-hard generalization sorununu (modelin öğretim örneklerindekinden daha zor bir görevle karşılaştığı durum) etkin biçimde giderir. LtM yönteminin her iki aşamasının da few-shot prompting (birkaç örnek gösterimi) aracılığıyla uygulandığını ve modelin yeni verilere ek eğitimi ya da ince ayarı gerektirmediğini belirtmek gerekir. Bunun yanı sıra yöntem, LLM akıl yürütmesini geliştirmeye yönelik diğer tekniklerle de uyumludur; örneğin yanıt üretilirken chain-of-thought ve self-consistency (birden fazla çözümün ardışık örneklenmesi) ile birleştirilebilir; ancak bu zorunlu değildir.

Deneysel Sonuçlar ve Uygulamalar

Least-to-Most Prompting'i öneren çalışmada, bu yöntemin karmaşık çok adımlı akıl yürütme gerektiren bir dizi görevde standart prompt yöntemlerini (chain-of-thought dahil) geride bıraktığı gösterilmiştir. Yöntem, üç temel görev kategorisinde üstünlüğünü başarıyla ortaya koymuştur:

• Sembolik ve algoritmik görevler. Örneğin, kelimelerin son harflerinin birleştirilmesi görevinde (listedeki her kelimenin son harfini sırasıyla alıp yeni bir kelime oluşturma) LtM yöntemi, modelin daha uzun kelime dizilerine genelleme yapma kapasitesini önemli ölçüde artırmıştır. Özel eğitim olmaksızın, chain-of-thought prompt'larıyla GPT-3 (code-davinci-002) modeli bu tür görevleri kelime listesi uzunluğu 12 olduğunda yalnızca yaklaşık %32 oranında doğru yanıtlarken, Least-to-Most Prompting kullanıldığında doğruluk ~%74 düzeyine ulaşmıştır. Kısa listelerde (örneklerde yer alan uzunluklarda) her iki strateji de iyi performans sergilemiştir; ancak dizi uzunluğu arttıkça chain-of-thought kalitesi keskin biçimde düşerken Least-to-Most daha yumuşak bir düşüş sergilemiş ve yüksek doğruluğunu korumuştur. Bu durum, LtM yönteminin daha karmaşık (uzun) girdilere yönelik çözüm mantığını genelleme kapasitesini gözler önüne sermektedir.
• Kompozisyonel genelleme (compositional generalization). Bu görev kategorisi; örneğin metin talimatlarını eylem dizisine çevirmeyi kapsamaktadır (SCAN benchmark'ında olduğu gibi: "jump twice and run" gibi komutları yerine getirip daha uzun kombinasyonlara genelleme yapılması). LtM yöntemi, LLM'in bu tür görevlerin en karmaşık varyantlarını bile başarıyla çözmesini sağlamıştır. Özellikle, LtM prompt'larıyla GPT-3 modeli, SCAN veri setindeki tüm veri bölme varyantlarında (test dizilerinin eğitim dizilerinden daha uzun olduğu en zorlu length split dahil) yalnızca 14 prompt örneği kullanarak %99 doğruluğa ulaşmıştır. Karşılaştırma için: standart chain-of-thought yaklaşımı benzer koşullarda yalnızca yaklaşık %16 doğruluk sağlamıştır. Dahası, bu başarı model eğitimi olmaksızın elde edilmiştir; oysa SCAN için önceki en iyi çözümler, >15.000 örnekten oluşan eğitim setinin tamamının kullanılmasını gerektiren özel nöro-sembolik mimarilere veya veri artırma yöntemlerine dayanmaktaydı. Böylece Least-to-Most Prompting, ince ayarsız modeller için benzeri görülmemiş bir kompozisyonel genelleme kapasitesi sergilemiştir.
• Matematiksel metin görevleri. Yöntem, metin içi aritmetik görevlerde test edilmiştir; örneğin GSM8K veri setinden (toplama/çıkarma ve mantık gerektiren karmaşık metin görevleri) ve DROP setinden (metindeki sayısal bilgiyi çıkarma ve hesaplama becerisini sınayan) bir dizi soru üzerinde. Burada da Least-to-Most Prompting, chain-of-thought ile kıyaslandığında doğruluk artışı göstermiştir. GSM8K'da code-davinci-002 modeli kullanıldığında yanıt doğruluğu yaklaşık %60,9'dan ~%62,4'e yükselmiştir. DROP alt görevlerindeki kazanım daha belirgin olmuştur: örneğin "futbola ilişkin" sorulardan oluşan bölümde doğruluk, chain-of-thought ile ~%59,6'dan LtM uygulandığında ~%73,4'e çıkmıştır. Matematiksel görevlerdeki kalite artışı SCAN'dekiyle kıyaslandığında daha mütevazı kalsa da yazarlar önemli bir noktanın altını çizmektedir: GSM8K görevlerinin neredeyse tamamı, modele doğru problem ayrıştırması sağlandığında başarıyla çözülebilmektedir. Bu durum, başarılı çözümün anahtarının iyi formüle edilmiş ara sorular olduğuna işaret etmektedir; LtM yaklaşımı da tam olarak bu soruların otomatik oluşturulmasına ve ardışık biçimde çözülmesine yönelik tasarlanmıştır.

Özetle, deneyler Least-to-Most Prompting'in çok adımlı çıkarsama gerektiren pek çok görev türünde hem akıl yürütme içermeyen naif few-shot yönlendirmesini hem de chain-of-thought yöntemini önemli ölçüde geride bıraktığını doğrulamaktadır. Yöntem, LLM'in başlangıçta örnekler aracılığıyla tanıştığı problemlerden daha karmaşık sorunları çözmesine olanak tanıyarak in-context learningin (prompt'lar aracılığıyla anlık öğrenme) sınırlarını genişletmektedir.

Sınırlılıklar ve İleriye Dönük Yönelimler

Başarılarına karşın Least-to-Most Prompting yönteminin bir dizi sınırlılığı bulunmaktadır. Her şeyden önce, farklı görev türleri farklı ayrıştırma yaklaşımları gerektirmektedir. Matematiksel bir görevi etkin biçimde parçalara bölen prompt şablonu, mantıksal ya da sağduyu gerektiren bir görev için hiç uygun olmayabilir. Örneğin, modeli matematik metin görevlerini adımlara bölmeyi öğreten prompt'lar, "Aristoteles bir dizüstü bilgisayar kullandı mı?" gibi sağduyu gerektiren bir soru için işe yaramamaktadır; bu tür bir görev için tamamen farklı bir bölme stratejisi gerekmektedir. Bu nedenle, her yeni alan veya sorun türü için, görevin alt görevlere nasıl bölüneceğini gösteren örneklerin yeniden seçilmesi ve çözüm yapısını örnekleyen ilgili bir prompt oluşturulması gerekmektedir. Başka bir deyişle, bir görevi nasıl doğru biçimde ayrıştıracağına ilişkin bilgi, LLM tarafından evrensel olarak genellenememekte; her görev sınıfına özgü örnekler aracılığıyla ayrıca verilmesi gerekmektedir.

Bunun yanı sıra LtM'nin etkinliği, görevin bağımsız alt hedeflere ne ölçüde uygun biçimde bölünebildiğine büyük ölçüde bağlıdır. Model ara adımları doğru formüle edemezse ya da bazı gerekli alt görevler atlanırsa, nihai çözüm de hatalı olacaktır. Bununla birlikte, geliştiricilerin kendileri pek çok durumda başarısızlığın başarıya dönüştürülebildiğini belirtmektedir: bir insan doğru ayrıştırmayı el ile sağladığında model her bir parçayı kolayca çözmekte ve yanıtları başarıyla birleştirmektedir. Bu durum, yaklaşımın ileride geliştirilebileceğini vurgulamaktadır: alt görevlerin otomatik oluşturulma kalitesinin iyileştirilmesi ve olası olarak etkileşimli model öğretimi. LtM yazarları, sonuç bölümünde, prompt yöntemlerinin geleceğinin modelle tam anlamıyla iki yönlü diyalog doğrultusunda şekillenebileceğini öne sürmektedir; bu sayede model anlık geri bildirim alacak ve ara adımları düzeltilecektir. Least-to-Most Prompting yöntemi bu yönde atılmış bir adım olarak değerlendirilebilir; görevlerin parçalara bölünerek aşamalı biçimde çözülmesini sağlayan ardışık model etkileşiminin, yeni veriler üzerinde eğitim gerektirmeksizin modelin düşünme kapasitesini önemli ölçüde genişlettiğini ortaya koymaktadır.

Dış bağlantılar

• "Least-to-Most Prompting Enables Complex Reasoning in Large Language Models" başlıklı orijinal makale (arXiv)
• Orijinal makalenin HTML sürümü
• Least-to-Most Prompting nedir? — AI Safety Info makalesi
• Medium'da yönteme genel bakış
• arXiv'de prompt engineering yöntemlerine kapsamlı genel bakış

Kaynakça

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.