Pelupaan Kontekstual

From Systems analysis Wiki
Jump to navigation Jump to search

Kelupaan kontekstual dalam model bahasa besar — adalah fenomena multifaset di mana model bahasa besar (LLM) kehilangan, mengabaikan, atau menggunakan secara tidak efektif informasi yang telah diberikan sebelumnya dalam satu sesi interaksi[1]. Berbeda dengan memori manusia, LLM tidak memiliki penyimpanan status jangka panjang dan hanya mengandalkan jendela konteks — jumlah teks terbatas (dalam token) yang dapat diproses oleh model dalam satu waktu. Jendela ini berfungsi sebagai memori jangka pendek atau memori kerja model[2].

Manifestasi paling terkenal dari keterbatasan ini adalah masalah "Lost in the Middle" (Hilang di Tengah) — kecenderungan model untuk memproses informasi yang berada di awal dan akhir konteks panjang dengan lebih baik, sementara informasi di bagian tengah diproses dengan lebih buruk[2]. Fenomena ini bukan merupakan kegagalan, melainkan sifat fundamental yang berasal dari arsitektur transformer dan prinsip pelatihannya.

Dua Jenis Kelupaan: Kontekstual dan Katastrofik

Penting untuk membedakan dua jenis "kelupaan" yang pada dasarnya berbeda dalam LLM: kelupaan dalam konteks dan kelupaan katastrofik.

Kelupaan Dalam Konteks (Lost in the Middle)

Jenis kelupaan ini terjadi selama satu sesi interaksi (inferensi) dengan model yang telah dilatih. Jenis ini berkaitan dengan keterbatasan jendela konteks. Ketika volume dialog atau dokumen melebihi ukuran jendela, model "melupakan" fragmen-fragmen terlama untuk memberi ruang bagi yang baru. Bahkan dalam batas jendela, informasi dari bagian tengah konteks mungkin digunakan dengan kurang efektif. Ini adalah keterbatasan memori kerja model[3]. Dalam literatur populer, fenomena ini juga disebut "sindrom degradasi konteks" (Context Degradation Syndrome, CDS)[1].

Kelupaan Katastrofik (Pergeseran Model)

Jenis kelupaan ini, yang juga dikenal sebagai "pergeseran model" (model drift), terjadi selama proses fine-tuning model pada data baru. Ketika model yang telah dilatih sebelumnya pada korpus pengetahuan umum yang sangat besar di-fine-tune pada dataset yang sangat terspesialisasi (misalnya, pada teks medis), bobotnya berubah. Hal ini dapat menyebabkan degradasi atau "penghapusan" pengetahuan dan keterampilan yang telah dipelajari sebelumnya yang tidak terkait dengan tugas baru[4].

Penyebab dan Mekanisme

Kelupaan kontekstual merupakan konsekuensi langsung dari arsitektur transformer dan geometri ruang vektor.

Efek "Lost in the Middle"

Penelitian Universitas Stanford tahun 2023 berjudul "Lost in the Middle" secara jelas menunjukkan bahwa performa LLM dalam mengekstraksi informasi dari konteks panjang memiliki kurva berbentuk U[2]. Akurasi jawaban tertinggi ketika informasi relevan berada di awal (efek primasi) atau di akhir (efek kebaruan) konteks, dan menurun secara signifikan jika informasi tersebut "tersembunyi" di bagian tengah. Penyebab fenomena ini:

  • Mekanisme attention: Arsitektur transformer secara alami memberikan perhatian yang tidak proporsional pada token-token awal (yang disebut "attention sinks") untuk menjaga koherensi global, serta pada konteks lokal, yang menyebabkan melemahnya "fokus" pada bagian tengah[5].
  • Data pra-pelatihan: Model-model paling sering dilatih pada teks-teks yang relatif pendek, di mana informasi penting jarang berada pada jarak puluhan ribu token dari awal, sehingga menghambat kemampuan mereka untuk memanfaatkan konteks yang sangat panjang secara efektif[6].

Manifestasi dan Konsekuensi

  • Sindrom degradasi konteks: Dalam dialog yang panjang, model mulai "kehilangan benang percakapan", mengulangi jawaban, bertentangan dengan fakta-fakta yang telah ditetapkan sebelumnya, dan memberikan jawaban yang semakin umum dan kabur[1].
  • Kegagalan dalam tugas multi-tahap: Dalam tugas-tugas di mana kondisi diperinci melalui beberapa giliran bicara, model dapat "terjebak" pada asumsi awal yang salah dan mengabaikan klarifikasi berikutnya, yang menyebabkan ketidakmampuan total untuk menyelesaikan tugas[7].
  • Ketidakandalan analisis dokumen: Saat menganalisis laporan panjang atau dokumen hukum, LLM mungkin melewatkan fakta-fakta kunci yang terletak di bagian-bagian tengah, sehingga menjadikannya alat yang tidak dapat diandalkan untuk tugas-tugas semacam itu.

Strategi Mitigasi dan Pencegahan

Para peneliti dan pengembang menerapkan beberapa pendekatan untuk mengatasi masalah kelupaan kontekstual.

Perluasan Jendela Konteks

Pendekatan paling langsung adalah memperbesar ukuran jendela konteks. Model-model modern, seperti Claude 3 (200 ribu token) dan Gemini 1.5 Pro (hingga 2 juta token), telah memperluas batas ini secara signifikan[8][9]. Namun, penelitian menunjukkan bahwa sekadar memperbesar jendela tidak menjamin penggunaannya yang efektif, dan masalah "lost in the middle" tetap ada[2].

Rekayasa Prompt Tingkat Lanjut

Penyusunan prompt yang tepat dapat meningkatkan performa secara signifikan. Perusahaan Anthropic menawarkan praktik-praktik berikut[10]:

  • Penempatan dokumen di awal: Menempatkan teks-teks panjang di bagian paling awal prompt, sebelum instruksi dan pertanyaan.
  • Penggunaan tag XML: Membungkus dokumen dalam tag `<document>` untuk pemisahan yang jelas.
  • Mendukung jawaban dengan kutipan: Memberikan instruksi kepada model untuk terlebih dahulu mengekstraksi kutipan yang relevan, kemudian berdasarkan kutipan tersebut merumuskan jawaban.

Eksternalisasi Memori: Retrieval-Augmented Generation (RAG)

Pendekatan yang secara fundamental berbeda — bukan menempatkan semua informasi ke dalam jendela konteks, melainkan memindahkannya ke sistem eksternal (basis data vektor) dan menyediakannya sesuai permintaan.

  1. Pengambilan (Retrieve): Ketika permintaan masuk, sistem mencari informasi relevan di basis data eksternal.
  2. Penambahan (Augment): Fragmen-fragmen yang ditemukan ditambahkan ke permintaan asal.
  3. Generasi (Generate): LLM menghasilkan jawaban berdasarkan konteks yang disediakan.

RAG memungkinkan untuk bekerja dengan volume data yang praktis tidak terbatas dan menyediakan akses ke informasi yang segar dan terverifikasi, yang mengurangi risiko halusinasi dan merupakan solusi paling andal saat ini[11].

Tautan

  • Lost in the Middle: How Language Models Use Long Contexts — penelitian asli dari Universitas Stanford.
  • Pengumuman Claude dengan jendela konteks 100 ribu token dari Anthropic.

Literatur

  • Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172.
  • An, C. et al. (2024). Why Does the Effective Context Length of LLMs Fall Short?. arXiv:2410.18745.
  • Ding, J. et al. (2023). LongNet: Scaling Transformers to 1,000,000,000 Tokens. arXiv:2307.02486.
  • Yang, A. et al. (2024). Context Parallelism for Scalable Million-Token Inference. arXiv:2411.01783.
  • Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
  • Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
  • Li, S. et al. (2023). Functional Interpolation for Relative Positions Improves Long Context Transformers. arXiv:2310.04418.
  • Dong, Z. et al. (2024). Exploring Context Window of Large Language Models via Decomposed Positional Vectors. arXiv:2405.18009.
  • Laban, P. et al. (2025). LLMs Get Lost in Multi-Turn Conversation. arXiv:2505.06120.
  • Li, R. et al. (2024). Extending Context Window in Large Language Models with Segmented Base Adjustment for Rotary Position Embeddings. Applied Sciences, 14(7), 3076. DOI:10.3390/app14073076.
  • Yang, A. & Reizenstein, J. (2024). Exploring Context Window of LLMs via Decomposed Positional Vectors (NeurIPS Poster). NeurIPS 2024.

Catatan

  1. ↑ 1.0 1.1 1.2 Howard, James. «Context Degradation Syndrome: When Large Language Models Lose the Plot». jameshoward.us. [1]
  2. ↑ 2.0 2.1 2.2 2.3 Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». arXiv. [2]
  3. ↑ Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». ACL Anthology. [3]
  4. ↑ Greyling, Cobus. «Catastrophic Forgetting In LLMs». Medium. [4]
  5. ↑ «Exploring Context Window of Large Language Models via Decomposed Positional Vectors». NeurIPS Proceedings. [5]
  6. ↑ An, Chenxin; et al. «Why Does the Effective Context Length of LLMs Fall Short?». arXiv. [6]
  7. ↑ «LLMs Get Lost In Multi-Turn Conversation». arXiv. [7]
  8. ↑ «Introducing the next generation of Claude». Anthropic. [8]
  9. ↑ «Google's Gemini 1.5 Pro - Revolutionizing AI with a 1M Token Context Window». Medium. [9]
  10. ↑ «Long context prompting tips». Anthropic Documentation. [10]
  11. ↑ «What is Retrieval-Augmented Generation (RAG)?». Google Cloud. [11]
Retrieved from "https://systems-analysis.info/int/index.php?title=Pelupaan_Kontekstual&oldid=5467"