Retrieval-augmented generation (RAG) (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

Retrieval-Augmented Generation (RAG) (ind. Generasi yang Ditingkatkan dengan Pencarian) — adalah metode dalam bidang kecerdasan buatan, di mana model bahasa generatif (LLM) dilengkapi dengan akses ke sumber informasi eksternal untuk meningkatkan akurasi dan keandalan jawaban. Dengan kata lain, model melakukan pencarian data yang relevan (misalnya, dalam basis dokumen, situs web, atau basis data) sebelum menghasilkan jawaban, dan menggunakan informasi yang ditemukan dalam membentuk jawaban tersebut[1][2]. Pendekatan ini memberikan "pengayaan" pengetahuan dari sumber-sumber terkini dan membantu mengatasi keterbatasan LLM itu sendiri yang berkaitan dengan kapasitas "memori" terbatas dan informasi yang sudah usang[3]. Sistem RAG mampu merujuk pada dokumen-dokumen tertentu (misalnya, dalam bentuk catatan kaki) dalam jawaban yang dihasilkan, sehingga meningkatkan transparansi dan memungkinkan pengguna memverifikasi fakta[1]. Hasilnya, risiko munculnya halusinasi — kasus di mana model dengan yakin menyampaikan informasi yang tidak benar — dapat berkurang[1][3]. RAG memperluas basis pengetahuan LLM hingga kapasitas yang hampir tak terbatas dan memungkinkan model menggunakan data terbaru tanpa perlu pelatihan ulang[4].

Asal-usul dan Perkembangan Metode

Gagasan menggabungkan pencarian informasi dengan pembuatan jawaban otomatis sudah muncul jauh sebelum LLM modern ada. Sejak tahun 1970-an, telah dilakukan upaya untuk membuat sistem question-answering yang mencari jawaban dalam basis data teks berdasarkan pertanyaan yang diberikan[1]. Pada tahun 1990-an, layanan web Ask Jeeves mempopulerkan pencarian jawaban dalam bahasa alami, dan pada tahun 2011 sistem IBM Watson mendemonstrasikan kemampuan AI dengan memenangkan acara kuis Jeopardy! melawan peserta manusia[1].

Tahap perkembangan modern terkait dengan pengenalan model bahasa berbasis jaringan saraf: Retrieval-Augmented Generation sebagai pendekatan tersendiri diusulkan pada tahun 2020 oleh sekelompok peneliti dari Facebook AI Research, University College London, dan lainnya di bawah pimpinan Patrick Lewis[1]. Dalam karya mereka yang diterima di NeurIPS 2020, dijelaskan model RAG — model seq2seq generatif (misalnya, BART) dengan akses yang dapat didiferensiasikan ke penyimpanan pengetahuan eksternal yang bersifat "non-parametrik"[5]. Para penulis menggunakan seluruh Wikipedia berbahasa Inggris sebagai basis pengetahuan eksternal, merepresentasikannya dalam bentuk indeks vektor (~21 juta fragmen teks), di mana pencarian dilakukan menggunakan algoritma neural Dense Passage Retrieval[5]. Untuk kueri yang masuk, model RAG mengambil fragmen-fragmen yang paling sesuai dari indeks dan menambahkannya ke konteks pembuatan jawaban. Mekanisme seperti ini memungkinkan pencapaian hasil rekor baru (state-of-the-art) pada tugas-tugas dengan basis pengetahuan terbuka, misalnya dalam pengujian Natural Questions, WebQuestions, dan lain-lain[2]. Dicatat bahwa jawaban model RAG menjadi lebih spesifik dan akurat secara faktual dibandingkan pendekatan generatif sebelumnya, berkat sintesis informasi dari beberapa sumber sekaligus[2]. Tak lama kemudian Facebook secara terbuka mempublikasikan kode sumber RAG: model tersebut diintegrasikan ke dalam pustaka HuggingFace Transformers dan dataset terkait, sehingga para pengembang dapat dengan mudah menerapkan RAG dalam proyek mereka[2]. Sejak tahun 2020, metode RAG dengan cepat mendapatkan popularitas — menurut pengarangnya, meskipun singkatannya terdengar kurang merdu, pendekatan ini mendapatkan penyebaran luas, menghasilkan ratusan karya ilmiah dan menjadi dasar banyak layanan komersial[1].

Prinsip Kerja RAG

Skema prinsip Retrieval-Augmented Generation: modul pencarian (kiri) mengambil dokumen-dokumen yang relevan dari basis pengetahuan, setelah itu model generatif (kanan) membentuk jawaban berdasarkan kueri pengguna dengan mempertimbangkan informasi yang ditemukan[6]. Pendekatan ini memungkinkan LLM untuk mengandalkan data eksternal yang terkini saat menghasilkan jawaban. Diagram menunjukkan bagaimana kueri pengguna diubah menjadi vektor dan digunakan untuk mencari fragmen teks yang serupa; kemudian fragmen-fragmen tersebut disambungkan ke konteks model, "memperluas" pengetahuannya dan meningkatkan akurasi jawaban.

Sistem RAG biasanya terdiri dari dua komponen utama: modul pencarian (retriever) dan modul pembuatan jawaban (generator)[6]. Pada tahap persiapan, dibangun indeks vektor basis pengetahuan: semua dokumen (teks) dipecah menjadi fragmen-fragmen dan diubah oleh model embedding menjadi vektor numerik, yang disimpan dalam basis data khusus untuk pencarian selanjutnya[6]. Saat kueri pengguna masuk, model embedding yang sama mengodekan kueri tersebut menjadi vektor; kemudian dilakukan pencarian tetangga terdekat dalam ruang vektor — dipilih top K fragmen yang paling mirip dari indeks pengetahuan (misalnya, K = 5)[6]. Fragmen-fragmen ini dianggap sebagai konteks eksternal yang mengandung kemungkinan fakta terkait topik kueri.

Pada tahap berikutnya, konteks yang terbentuk digunakan oleh model generatif. Pertanyaan awal bersama dengan fragmen teks yang ditemukan dimasukkan ke LLM (misalnya, transformer tipe seq2seq atau model berorientasi instruksi) untuk menghasilkan jawaban akhir[2]. Model bahasa dengan demikian secara kondisional tidak hanya mengandalkan pengetahuan yang telah dipelajarinya (parametrik), tetapi juga data eksternal yang disediakan kepadanya. Dalam implementasi RAG orisinal, peran generator dimainkan oleh model BART yang telah dilatih sebelumnya, sementara "memori" eksternal direpresentasikan oleh koleksi Wikipedia yang diindeks dengan metode DPR[5].

Pendekatan Fusion untuk Penggabungan Pengetahuan

Fitur penting RAG adalah cara model menggabungkan informasi dari beberapa dokumen yang ditemukan. Berbeda dengan sekadar menggabungkan seluruh teks, RAG menerapkan pendekatan yang dikenal sebagai late fusion («penggabungan hasil yang terlambat») — model generatif secara paralel memproses masing-masing dari K fragmen yang diperoleh dan membentuk jawaban hipotetis beserta skor kepercayaan untuk setiap fragmen, setelah itu mengagregasi opsi-opsi tersebut menjadi keluaran akhir[2]. Metode ini memungkinkan RAG untuk menyintesis jawaban bahkan dalam kasus di mana tidak ada satu sumber pun yang mengandung jawaban langsung dan lengkap atas pertanyaan tersebut. Misalnya, jika informasi yang diperlukan tersebar di berbagai artikel, model mampu menggabungkan "petunjuk" dari beberapa dokumen menjadi satu jawaban[2] (Dicatat bahwa penambahan jumlah dokumen yang digunakan biasanya meningkatkan kelengkapan jawaban dengan sedikit mengorbankan koherensi teks[7].)

Varian Implementasi

Dalam karya orisinal tahun 2020 diusulkan dua modifikasi arsitektur RAG[6]. Dalam mode RAG-Sequence, model generatif menerima sekumpulan dokumen yang ditemukan secara tetap dan menggunakannya untuk menghasilkan seluruh jawaban secara keseluruhan. Dalam mode RAG-Token, sebaliknya, pembaruan dinamis diperbolehkan: pada setiap langkah pembuatan token berikutnya, model dapat melakukan pencarian ulang dan memuat fragmen teks tambahan jika diperlukan untuk memperjelas jawaban. Kedua pendekatan menunjukkan tingkat kualitas yang sama-sama tinggi; RAG-Sequence lebih sederhana dan cepat, sedangkan RAG-Token secara teoritis memungkinkan pertimbangan lebih banyak informasi yang beragam pada jawaban yang panjang[6].

Keunggulan RAG

  • Aktualitas dan Akurasi Faktual. Penghubungan data eksternal memungkinkan LLM memberikan jawaban yang lebih akurat dan berdasar, mengandalkan informasi nyata dan tidak hanya pada parameter model. Hal ini secara signifikan mengurangi risiko informasi yang sudah usang atau sekadar informasi yang dibuat-buat dalam jawaban model[3][1]. Tidak seperti model dengan "batas pengetahuan" tetap, RAG dapat menjawab bahkan pertanyaan tentang peristiwa atau fakta yang muncul setelah selesainya pelatihan model — berkat akses ke sumber data terbaru[4].
  • Transparansi dan Kepercayaan Pengguna. Sistem RAG mampu menyediakan tautan ke sumber informasi (misalnya, ke artikel, laporan, atau basis data) yang menjadi dasar jawaban[1]. Pada dasarnya, model menyusun jawabannya seperti karya ilmiah dengan catatan kaki, sehingga memungkinkan verifikasi keandalan setiap fakta. Adanya sumber yang dikutip meningkatkan kepercayaan pengguna dan memudahkan verifikasi informasi yang diperoleh.
  • Spesialisasi dalam Domain Tertentu. Retrieval-augmentation memberikan kemampuan untuk mengadaptasi cara kerja model ke domain pengetahuan yang sempit dengan relatif mudah, tanpa mengubah model bahasa itu sendiri. Untuk melakukannya, cukup melengkapi LLM dengan basis pengetahuan khusus sesuai topik yang diinginkan — baik itu artikel medis, dokumen hukum, maupun manual teknis perusahaan. Model, yang tetap bersifat umum dalam parameternya, mulai bertindak sebagai ahli di bidang tersebut karena menggali fakta dari dataset yang telah dipilih[4][8]. Misalnya, asisten hukum berbasis RAG dapat membatasi area pencarian pada satu corpus yurisdiksi (hukum negara tertentu), menjamin bahwa jawaban akan sesuai dengan undang-undang tersebut[8].
  • Fleksibilitas dan Kemampuan Pembaruan Pengetahuan. Dalam model klasik, untuk menambahkan pengetahuan baru atau memperbaiki fakta yang salah, diperlukan pelatihan ulang (fine-tuning) pada dataset yang diperluas, yang memakan banyak waktu dan sumber daya. RAG menyelesaikan masalah ini: untuk memperbarui pengetahuan model, cukup memperbarui basis data eksternal atau menghubungkan sumber tambahan, dan model akan langsung mulai menggunakan informasi baru[2]. Hal ini memungkinkan pemeliharaan aktualitas sistem dengan mudah — faktanya, data dapat diganti "secara langsung" bahkan secara real-time tanpa gangguan pada operasi model[1].
  • Efisiensi dan Penghematan Sumber Daya. Pendekatan RAG seringkali lebih praktis daripada melatih model berukuran sangat besar yang berusaha mencakup semua informasi dalam parameternya. Dengan mengintegrasikan pencarian, hasil yang sebanding dapat dicapai dengan model berukuran sedang, tanpa mencoba menghafal semua fakta secara absolut di dalam jaringan saraf itu sendiri[6]. Selain itu, penerapan pipeline RAG relatif tidak rumit: tersedia alat siap pakai (Frameworks, pustaka), dan para pengembang menunjukkan bahwa prototipe RAG dasar dapat dirangkai hanya dalam beberapa baris kode[1]. Dengan demikian, RAG mengurangi total biaya penerapan AI: daripada melatih model baru untuk setiap tugas, cukup mengonfigurasi mekanisme pencarian dan menyediakan data yang sesuai.

Masalah dan Keterbatasan RAG

Meskipun memiliki kelebihan yang jelas, Retrieval-Augmented Generation mewarisi keterbatasan baik dari komponen pencarian maupun dari model bahasa itu sendiri[9]. Berikut adalah masalah-masalah utama yang melekat pada sistem RAG:

  • Ketergantungan pada Kualitas Pencarian. Jawaban yang diperoleh akan tepat hanya sejauh data yang diambil relevan dan andal. Jika modul pencarian mengembalikan dokumen yang tidak terkait dengan pertanyaan atau mengandung kesalahan, model generatif tidak akan dapat "memperbaiki" fakta-fakta tersebut — ia akan menghasilkan jawaban berdasarkan fakta-fakta tersebut[8]. Dengan demikian, kualitas dan aktualitas basis pengetahuan eksternal secara langsung menentukan akurasi RAG. Diperlukan pembaruan indeks secara berkala dan penyetelan algoritma peringkat agar penyerahan dokumen tetap relevan.
  • Kompleksitas Tinggi dan Intensitas Sumber Daya. Sistem RAG untuk beroperasi membutuhkan tidak hanya LLM itu sendiri, tetapi juga infrastruktur untuk pencarian: penyimpanan dan pembaruan basis data besar, pengindeksan, waktu untuk menjalankan kueri. Semua ini meningkatkan biaya komputasi dan dapat mengurangi kecepatan respons dibandingkan dengan hanya menggunakan model bahasa saja[8]. Dalam skenario terburuk, penundaan pada tahap pencarian atau pemrosesan data dalam jumlah sangat besar akan memperlambat sistem. Dalam praktiknya, diperlukan keseimbangan antara kualitas jawaban dan kinerja, dengan mengoptimalkan pipeline (misalnya, membatasi ukuran basis pengetahuan atau kedalaman pencarian agar waktu respons tetap dalam batas normal).
  • Persyaratan Data dan Dukungan. Agar RAG bekerja efektif, diperlukan data eksternal yang berkualitas, terstruktur, dan dapat diakses. Model pencarian mungkin kesulitan menemukan informasi yang berguna jika basis pengetahuan eksternal kurang terorganisasi atau mengandung noise[8]. Selain itu, data yang diperlukan tidak selalu terbuka atau murah: perusahaan harus membuat dan memelihara knowledge bases mereka sendiri. Hal ini menimbulkan biaya tambahan dan memerlukan upaya untuk menjaga aktualitas data (misalnya, menambahkan dokumen baru, membersihkan informasi yang sudah usang). Kelemahan RAG adalah ketergantungan pada pemeliharaan basis pengetahuan dalam keadaan terkini.
  • Ketidakmampuan Menghilangkan Beberapa Kesalahan LLM. Meskipun RAG secara signifikan mengurangi jumlah konfabulasi, menghilangkan sepenuhnya jawaban yang salah tidak selalu mungkin[9]. Model generatif masih dapat melakukan kesalahan logika atau menggeneralisasi informasi secara tidak tepat, terutama jika konteks yang disediakan tidak cukup lengkap atau kontradiktif[9]. Pada dasarnya, RAG mengalihkan fokus kesalahan: alih-alih fakta yang jelas-jelas dibuat-buat ("halusinasi"), lebih sering ditemui kesalahan integrasi pengetahuan — misalnya, model dapat melewatkan fragmen penting atau menghubungkan sumber-sumber yang berbeda secara tidak tepat. Oleh karena itu, dalam aplikasi yang bertanggung jawab (medis, hukum), partisipasi manusia masih diperlukan untuk verifikasi dan koreksi jawaban sistem.

Penerapan RAG

Metode Retrieval-Augmented Generation telah menemukan penerapan dalam banyak skenario yang berkaitan dengan ekstraksi dan penggunaan pengetahuan. Berikut adalah bidang-bidang utama di mana RAG menunjukkan manfaat terbesar:

  • Sistem Tanya-Jawab dan Chatbot. RAG memungkinkan pembuatan asisten virtual dan chatbot yang menjawab pertanyaan pengguna dengan akurasi tinggi dan dapat memberikan tautan ke sumber. Dalam bidang dukungan pelanggan, bot semacam itu mengakses basis pengetahuan internal perusahaan (FAQ, artikel referensi) dan memberikan jawaban instan atas permintaan pelanggan, mengurangi beban kerja karyawan[8]. Berbeda dengan sistem FAQ klasik, bot RAG merumuskan jawaban dalam bahasa yang hidup, namun tetap "mendukungnya" dengan data terkini yang spesifik untuk masalah pengguna.
  • Kedokteran dan Layanan Kesehatan. Model generatif yang dilengkapi dengan basis data medis khusus (artikel ilmiah, protokol klinis, buku referensi) dapat bertindak sebagai asisten cerdas bagi dokter atau pasien. Misalnya, sistem akan dapat menjawab pertanyaan tentang diagnosis langka dengan menemukan penelitian terbaru tentang topik tersebut dalam literatur medis[8]. Keunggulan penting RAG dalam kedokteran adalah kemampuan untuk merujuk ke sumber primer (misalnya, hasil uji klinis), yang diperlukan untuk kepercayaan dari pihak dokter. Sistem semacam itu digunakan untuk mendukung pengambilan keputusan, pemeriksaan gejala, pelatihan mahasiswa kedokteran, dan lain-lain, memberikan akses ke pengetahuan medis terbaru.
  • Hukum dan Keuangan. Dalam praktik hukum dan analisis keuangan, akurasi dan verifiabilitas informasi sangat kritis. Sistem RAG dapat membantu para profesional menemukan data yang diperlukan dengan cepat: misalnya, seorang pengacara dengan bantuan model dapat menemukan dan mengutip keputusan pengadilan preseden atau pasal undang-undang yang relevan dengan kasus yang sedang ditangani, sementara analis keuangan dapat dengan cepat mendapatkan kutipan dari laporan ekonomi atau berita pasar terbaru[8]. Setiap jawaban model dapat berisi tautan ke dokumen tertentu (peraturan perundang-undangan, laporan, artikel), yang sesuai dengan standar industri dan memudahkan pekerjaan manual spesialis selanjutnya.
  • Penelitian Ilmiah dan Pembuatan Konten. Jurnalis, peneliti, dan penulis dapat menggunakan RAG untuk mempercepat pencarian fakta dan sumber saat mempersiapkan materi. Misalnya, model dapat "mengumpulkan" informasi dari beberapa publikasi terpercaya atas permintaan, sehingga secara signifikan mengurangi waktu yang diperlukan untuk pengecekan fakta dan pemilihan kutipan[8]. Asisten penelitian berbasis RAG secara otomatis mengekstrak referensi ke karya-karya yang relevan, data dari basis terbuka (misalnya, statistik dari laporan internasional) dan bahkan terjemahan kasar, memungkinkan para penulis untuk fokus pada bagian analitis dari pekerjaan. Alat semacam itu menemukan penerapan di media, lingkungan akademis, dalam mempersiapkan tinjauan literatur, dan sebagainya.
  • Pengetahuan Korporat dan Pencarian Dokumen. Di banyak organisasi, sejumlah besar informasi berharga disimpan dalam bentuk dokumen teks: regulasi, panduan, laporan, korespondensi, berkas log. RAG menyediakan cara pencarian interaktif melalui data tak terstruktur semacam itu menggunakan bahasa. Seorang karyawan dapat mengajukan pertanyaan ("Apa yang dikatakan tentang kebijakan cuti untuk karyawan jarak jauh?") — dan model akan menemukan bagian yang diperlukan dari dokumen internal, mengutipnya, dan merumuskan jawaban ringkasan[1]. Hal ini meningkatkan efisiensi kerja: karyawan baru lebih cepat menemukan jawaban atas pertanyaan, departemen dukungan mendapatkan alat untuk pencarian cepat melalui basis insiden, dan manajemen mendapatkan cara untuk menganalisis data teks yang terakumulasi. Perusahaan IT besar sudah menerapkan pendekatan RAG dalam solusi korporat: teknologi dari Microsoft, Google, IBM, AWS, dan lainnya mengintegrasikan LLM dengan pencarian data organisasi[1].

Prospek dan Penelitian Lebih Lanjut

Metode Retrieval-Augmented Generation berkembang aktif, dan dalam beberapa tahun ke depan diharapkan perluasan kemampuannya lebih lanjut. Salah satu arah — RAG multimodal, di mana sebagai informasi eksternal dapat digunakan tidak hanya teks, tetapi juga gambar, audio/video, atau bahkan data dari sensor. Eksperimen menunjukkan prospektivitas penggabungan model bahasa dengan pencarian melalui basis data visual, yang akan memungkinkan, misalnya, menjawab pertanyaan tentang isi gambar atau video berdasarkan deskripsi dan teks terkait[2]. Arah penting lainnya — penggunaan beberapa sumber pengetahuan secara bersamaan: sistem RAG masa depan akan dapat menggabungkan data dari berbagai basis (misalnya, Wikipedia, ensiklopedia khusus, catatan pribadi pengguna) dan menyintesis jawaban dengan mempertimbangkan semua informasi yang beragam ini[2].

Para peneliti juga menghadapi tugas meningkatkan keandalan dan keamanan RAG. Perlu meminimalkan risiko penyebaran prasangka dan kesalahan yang mungkin terdapat dalam data eksternal, serta menjamin konsistensi jawaban. Tim pengembang RAG orisinal telah mengambil langkah-langkah dalam arah ini — misalnya, membatasi basis pengetahuan awal hanya pada artikel Wikipedia sebagai sumber yang relatif terverifikasi dan netral[2]. Di masa depan direncanakan untuk membuat filter khusus dan metode seleksi dokumen agar model mendapatkan konteks yang dijamin berkualitas. Selain itu, penelitian berkonsentrasi pada peningkatan mekanisme pencarian itu sendiri: dikembangkan algoritma baru untuk peringkat dan pengindeksan semantik, yang mampu lebih tepat memahami kueri dan menemukan informasi yang relevan bahkan untuk formulasi yang kompleks atau tidak jelas.

Akhirnya, integrasi yang lebih dalam antara RAG dengan proses pelatihan model bahasa merupakan hal yang menarik. Sudah muncul pendekatan di mana mekanisme retrieval digunakan tidak hanya pada tahap inferensi, tetapi juga saat pra-pelatihan atau fine-tuning LLM[10]. Hal ini dapat lebih meningkatkan faktualitas model dan mengurangi ketergantungan mereka pada pengetahuan yang tersimpan secara statis dalam bobot. Menurut tinjauan yang diterbitkan pada tahun 2024, komunitas melihat prospek besar dalam pengembangan ekosistem RAG: dari optimasi infrastruktur (percepatan pencarian, pengurangan biaya memori) hingga pembuatan benchmark standar untuk evaluasi kualitas sistem RAG[3]. Semua ini bertujuan membuat model generatif lebih akurat, serbaguna, dan aman saat bekerja dengan pengetahuan eksternal yang terus diperbarui, yang merupakan langkah kunci menuju kecerdasan buatan yang andal dari generasi baru.

Tautan

  • Apa itu Retrieval-Augmented Generation (RAG) — blog NVIDIA
  • Retrieval-Augmented Generation for Large Language Models: A Survey — tinjauan ilmiah di arXiv
  • Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — artikel orisinal tentang RAG
  • Apa itu RAG? Penerapan, keterbatasan, dan tantangan — blog Bright Data

Literatur

  • Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
  • Karpukhin, V. et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. arXiv:2004.04906.
  • Guu, K. et al. (2020). REALM: Retrieval-Augmented Language Model Pre-Training. arXiv:2002.08909.
  • Qu, Y. et al. (2020). RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering. arXiv:2010.08191.
  • Izacard, G.; Grave, E. (2021). Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. arXiv:2007.01282.
  • Borgeaud, S. et al. (2022). Improving Language Models by Retrieving from Trillions of Tokens. arXiv:2112.04426.
  • Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
  • Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
  • Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
  • Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
  • Mialon, G. et al. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv:2312.10997.
  • Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
  • Yang, Z. et al. (2023). Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning. arXiv:2302.04858.
  • Barnett, S. et al. (2024). Seven Failure Points When Engineering a Retrieval Augmented Generation System. arXiv:2401.05856.
  • Wang, Y. et al. (2024). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
  • Han, H. et al. (2025). Retrieval-Augmented Generation with Graphs (GraphRAG). arXiv:2501.00309.

Catatan

  1. 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 «What Is Retrieval-Augmented Generation aka RAG». NVIDIA Blogs. [1]
  2. 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 «Facebook open-sources RAG, an AI model that retrieves documents to answer questions». VentureBeat. [2]
  3. 3.0 3.1 3.2 3.3 Mialon, Grégoire et al. «Retrieval-Augmented Generation for Large Language Models: A Survey». arXiv. [3]
  4. 4.0 4.1 4.2 «Applied AI Software Engineering: RAG». Pragmatic Engineer. [4]
  5. 5.0 5.1 5.2 Lewis, Patrick et al. «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks». arXiv. [5]
  6. 6.0 6.1 6.2 6.3 6.4 6.5 6.6 «How RAG Makes LLMs Smarter». Exxact Blog. [6]
  7. «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks». arXiv. [7]
  8. 8.0 8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8 «What Is RAG? Use Cases, Limitations, and Challenges». Bright Data Blog. [8]
  9. 9.0 9.1 9.2 Lewis, Patrick et al. «Seven Failure Points When Engineering a Retrieval Augmented Generation System». arXiv. [9]
  10. «Генерация, дополненная поиском». Википедия. [10]