Bağlamsal Unutma

From Systems analysis Wiki
Jump to navigation Jump to search

Büyük dil modellerinde bağlamsal unutma — büyük bir dil modelinin (LLM) tek bir etkileşim sürecinde kendisine önceden sağlanan bilgiyi kaybettiği, görmezden geldiği ya da etkisiz biçimde kullandığı çok boyutlu bir olgudur[1]. İnsan belleğinin aksine, LLM'lerin kalıcı bir durum deposu yoktur ve yalnızca bağlam penceresine dayanırlar — bu, modelin aynı anda işleyebildiği sınırlı miktarda metindir (token cinsinden). Bu pencere, modelin kısa süreli veya çalışma belleği işlevini görür[2].

Bu sınırlamanın en bilinen tezahürü, «Ortada Kaybolma» (Lost in the Middle) sorunudur — modellerin uzun bir bağlamın başında ve sonunda yer alan bilgileri daha iyi işleme, ortasındakileri ise daha kötü işleme eğilimidir[2]. Bu olgu bir hata değil; transformer mimarisinden ve eğitim ilkelerinden kaynaklanan temel bir özelliktir.

İki Tür Unutma: Bağlamsal ve Yıkıcı

LLM'lerdeki iki temel farklı «unutma» türünü birbirinden ayırt etmek önemlidir: bağlam içi unutma ve yıkıcı unutma.

Bağlam İçi Unutma (Ortada Kaybolma)

Bu tür unutma, halihazırda eğitilmiş bir modelle tek bir etkileşim oturumu (çıkarım) sırasında gerçekleşir. Bağlam penceresinin sınırlılıklarıyla ilişkilidir. Diyaloğun veya belgenin hacmi pencere boyutunu aştığında, model yeni içeriğe yer açmak için en eski parçaları «unutur». Pencere sınırları içinde bile bağlamın ortasındaki bilgiler daha az etkin biçimde kullanılabilir. Bu, modelin çalışma belleğinin kısıtıdır[3]. Popüler yazında bu olgu aynı zamanda «bağlam bozulması sendromu» (Context Degradation Syndrome, CDS) olarak da adlandırılmaktadır[1].

Yıkıcı Unutma (Model Kayması)

«Model kayması» (model drift) olarak da bilinen bu tür unutma, modelin yeni veriler üzerinde ince ayar (fine-tuning) sürecinde gerçekleşir. Geniş bir genel bilgi külliyatı üzerinde önceden eğitilmiş bir model, dar kapsamlı bir veri kümesi üzerinde (örneğin tıbbi metinler) ince ayara tabi tutulduğunda ağırlıkları değişir. Bu durum, yeni görevle ilişkili olmayan, önceden edinilmiş bilgi ve becerilerin bozulmasına veya «silinmesine» yol açabilir[4].

Nedenler ve Mekanizmalar

Bağlamsal unutma, transformer mimarisinin ve vektör uzayı geometrisinin doğrudan bir sonucudur.

«Ortada Kaybolma» (Lost in the Middle) Etkisi

Stanford Üniversitesi'nin 2023 tarihli «Lost in the Middle» adlı araştırması, LLM'lerin uzun bir bağlamdan bilgi çıkarımındaki performansının U-şeklinde bir eğri izlediğini açıkça ortaya koymuştur[2]. Yanıt doğruluğu, ilgili bilgi bağlamın en başında (öncelik etkisi) veya en sonunda (yenilik etkisi) yer aldığında en yüksektir; bilgi bağlamın ortasına «gizlendiğinde» ise belirgin biçimde düşer. Bu olgunun nedenleri:

  • Dikkat mekanizması: Transformer mimarisi, yapısı gereği başlangıç tokenlarına orantısız miktarda dikkat ayırır (bu tokenlara «dikkat çapaları» ya da attention sinks denir); bu durum küresel tutarlılığı korumak ve yerel bağlamı işlemek için gereklidir, ancak ortadaki içeriğe odaklanmanın zayıflamasına yol açar[5].
  • Ön eğitim verileri: Modeller çoğunlukla görece kısa metinler üzerinde eğitilir; bu metinlerde önemli bilgiler baştan onlarca bin token uzakta nadiren bulunur; bu da modellerin çok uzun bağlamları etkin biçimde kullanmasını engeller[6].

Tezahürler ve Sonuçlar

  • Bağlam bozulması sendromu: Uzun diyaloglar sırasında model «konunun ipliğini kaybetmeye» başlar, yanıtları tekrar eder, önceden ortaya konulmuş olgularla çelişir ve giderek daha genel ve belirsiz yanıtlar verir[1].
  • Çok aşamalı görevlerde başarısızlık: Koşulların birden fazla konuşma satırı boyunca netleştirildiği görevlerde model, yanlış ilk varsayıma «takılıp kalabilir» ve sonraki düzeltmeleri görmezden gelebilir; bu da görevin tümüyle çözülememesine yol açar[7].
  • Belge analizinde güvenilmezlik: Uzun raporlar veya hukuki belgeler analiz edilirken LLM, merkezi bölümlerde yer alan kilit olgular gözden kaçırabilir; bu durum onu bu tür görevler için güvenilmez bir araç haline getirir.

Azaltma ve Önleme Stratejileri

Araştırmacılar ve geliştiriciler, bağlamsal unutma sorununu çözmek için çeşitli yaklaşımlar uygulamaktadır.

Bağlam Penceresinin Genişletilmesi

En doğrudan yaklaşım, bağlam penceresi boyutunun artırılmasıdır. Claude 3 (200 bin token) ve Gemini 1.5 Pro (2 milyona kadar token) gibi çağdaş modeller bu sınırı önemli ölçüde genişletmiştir[8][9]. Ancak araştırmalar, pencereyi büyütmenin tek başına onun etkin kullanımını garanti etmediğini ve «ortada kaybolma» sorununun devam ettiğini göstermektedir[2].

Gelişmiş Prompt Mühendisliği

Prompt'ların özenli biçimde yapılandırılması, performansı önemli ölçüde artırabilir. Anthropic şu uygulamaları önermektedir[10]:

  • Belgeleri başa yerleştirmek: Uzun metinleri, talimatlar ve soru öncesinde prompt'un en başına koymak.
  • XML etiketleri kullanmak: Belgeleri net bir ayrım sağlamak amacıyla `<document>` etiketleriyle sarmak.
  • Yanıtları alıntılarla gerekçelendirmek: Modele önce ilgili alıntıları çıkarma, ardından bu alıntılara dayanarak yanıt oluşturma talimatı vermek.

Belleğin Dışsallaştırılması: Retrieval-Augmented Generation (RAG)

Temelden farklı bir yaklaşım — tüm bilgiyi bağlam penceresine sığdırmaya çalışmak yerine, onu harici bir sisteme (vektör veritabanı) taşımak ve ihtiyaç duyulduğunda sağlamaktır.

  1. Çıkarım (Retrieve): Bir sorgu geldiğinde sistem, harici veritabanında ilgili bilgileri arar.
  2. Zenginleştirme (Augment): Bulunan parçalar orijinal sorguya eklenir.
  3. Üretim (Generate): LLM, sağlanan bağlama dayanarak yanıt üretir.

RAG, pratikte sınırsız veri hacimleriyle çalışmayı mümkün kılar ve güncel ile doğrulanmış bilgiye erişim sağlar; bu da halüsinasyon riskini azaltır ve bugün itibarıyla en güvenilir çözüm olarak öne çıkar[11].

Dış bağlantılar

  • Lost in the Middle: How Language Models Use Long Contexts — Stanford Üniversitesi'nin özgün araştırması.
  • Anthropic'in 100 bin token bağlam penceresine sahip Claude duyurusu.

Kaynakça

  • Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172.
  • An, C. et al. (2024). Why Does the Effective Context Length of LLMs Fall Short?. arXiv:2410.18745.
  • Ding, J. et al. (2023). LongNet: Scaling Transformers to 1,000,000,000 Tokens. arXiv:2307.02486.
  • Yang, A. et al. (2024). Context Parallelism for Scalable Million-Token Inference. arXiv:2411.01783.
  • Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
  • Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
  • Li, S. et al. (2023). Functional Interpolation for Relative Positions Improves Long Context Transformers. arXiv:2310.04418.
  • Dong, Z. et al. (2024). Exploring Context Window of Large Language Models via Decomposed Positional Vectors. arXiv:2405.18009.
  • Laban, P. et al. (2025). LLMs Get Lost in Multi-Turn Conversation. arXiv:2505.06120.
  • Li, R. et al. (2024). Extending Context Window in Large Language Models with Segmented Base Adjustment for Rotary Position Embeddings. Applied Sciences, 14(7), 3076. DOI:10.3390/app14073076.
  • Yang, A. & Reizenstein, J. (2024). Exploring Context Window of LLMs via Decomposed Positional Vectors (NeurIPS Poster). NeurIPS 2024.

Notlar

  1. ↑ 1.0 1.1 1.2 Howard, James. «Context Degradation Syndrome: When Large Language Models Lose the Plot». jameshoward.us. [1]
  2. ↑ 2.0 2.1 2.2 2.3 Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». arXiv. [2]
  3. ↑ Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». ACL Anthology. [3]
  4. ↑ Greyling, Cobus. «Catastrophic Forgetting In LLMs». Medium. [4]
  5. ↑ «Exploring Context Window of Large Language Models via Decomposed Positional Vectors». NeurIPS Proceedings. [5]
  6. ↑ An, Chenxin; et al. «Why Does the Effective Context Length of LLMs Fall Short?». arXiv. [6]
  7. ↑ «LLMs Get Lost In Multi-Turn Conversation». arXiv. [7]
  8. ↑ «Introducing the next generation of Claude». Anthropic. [8]
  9. ↑ «Google's Gemini 1.5 Pro - Revolutionizing AI with a 1M Token Context Window». Medium. [9]
  10. ↑ «Long context prompting tips». Anthropic Documentation. [10]
  11. ↑ «What is Retrieval-Augmented Generation (RAG)?». Google Cloud. [11]
Retrieved from "https://systems-analysis.info/int/index.php?title=Bağlamsal_Unutma&oldid=742"