Retrieval-augmented generation (RAG) (VI)

Retrieval-Augmented Generation (RAG) (tiếng Việt: Thế hệ Tăng cường Truy xuất) — là một phương pháp trong lĩnh vực trí tuệ nhân tạo, trong đó mô hình ngôn ngữ sinh (LLM) được trang bị khả năng truy cập các nguồn thông tin bên ngoài nhằm cải thiện độ chính xác và độ tin cậy của câu trả lời. Nói cách khác, trước khi sinh ra câu trả lời, mô hình thực hiện tìm kiếm dữ liệu liên quan (ví dụ: trong cơ sở tài liệu, trên trang web hoặc trong cơ sở dữ liệu) và sử dụng thông tin tìm được khi tạo ra câu trả lời. Cách tiếp cận này cung cấp "sự bổ sung" kiến thức từ các nguồn cập nhật và giúp khắc phục những hạn chế của bản thân LLM liên quan đến dung lượng "bộ nhớ" hạn chế và thông tin lỗi thời. Hệ thống RAG có khả năng trích dẫn các tài liệu cụ thể (ví dụ: dưới dạng chú thích) trong câu trả lời được sinh ra, điều này làm tăng tính minh bạch và cho phép người dùng kiểm chứng sự thật. Kết quả là giảm thiểu nguy cơ xuất hiện ảo giác — những trường hợp mô hình tự tin đưa ra thông tin sai lệch. RAG mở rộng cơ sở kiến thức của LLM đến quy mô gần như không giới hạn và cho phép các mô hình sử dụng dữ liệu mới nhất mà không cần huấn luyện lại.

Nguồn gốc và sự phát triển của phương pháp

Ý tưởng kết hợp tìm kiếm thông tin với việc tự động sinh câu trả lời đã xuất hiện từ lâu trước khi có các LLM hiện đại. Ngay từ những năm 1970, đã có những nỗ lực tạo ra các hệ thống question-answering tìm kiếm câu trả lời trong cơ sở dữ liệu văn bản theo câu hỏi được đặt ra. Vào những năm 1990, dịch vụ web Ask Jeeves xuất hiện, phổ biến hóa việc tìm kiếm câu trả lời bằng ngôn ngữ tự nhiên, và vào năm 2011, hệ thống IBM Watson đã chứng minh khả năng của AI khi giành chiến thắng trong chương trình truyền hình Jeopardy! trước các thí sinh là con người.

Giai đoạn phát triển hiện đại gắn liền với việc triển khai các mô hình ngôn ngữ dựa trên mạng nơ-ron: Retrieval-Augmented Generation với tư cách là một phương pháp riêng biệt được đề xuất vào năm 2020 bởi nhóm các nhà nghiên cứu từ Facebook AI Research, University College London và các tổ chức khác dưới sự dẫn dắt của Patrick Lewis. Trong công trình của họ, được chấp nhận tại NeurIPS 2020, đã mô tả mô hình RAG — mô hình sinh seq2seq (ví dụ: BART) với khả năng truy cập khả vi phân vào kho lưu trữ kiến thức "phi tham số" bên ngoài. Các tác giả đã sử dụng toàn bộ Wikipedia tiếng Anh làm cơ sở kiến thức bên ngoài, biểu diễn nó dưới dạng chỉ mục vector (~21 triệu đoạn văn bản), trong đó việc tìm kiếm được thực hiện bằng thuật toán nơ-ron Dense Passage Retrieval. Với một truy vấn đầu vào, mô hình RAG trích xuất các đoạn phù hợp nhất từ chỉ mục và thêm chúng vào ngữ cảnh sinh câu trả lời. Cơ chế này đã đạt được kết quả kỷ lục mới (state-of-the-art) trên các nhiệm vụ với cơ sở kiến thức mở, ví dụ trong các bài kiểm tra Natural Questions, WebQuestions và các bài khác. Đáng chú ý là câu trả lời của mô hình RAG trở nên cụ thể hơn và chính xác hơn về mặt thực tế so với các phương pháp sinh trước đó, nhờ việc tổng hợp thông tin từ nhiều nguồn cùng một lúc. Không lâu sau, Facebook đã công bố mã nguồn mở của RAG: mô hình được tích hợp vào thư viện HuggingFace Transformers và tập dữ liệu liên quan, giúp các nhà phát triển dễ dàng áp dụng RAG vào dự án của mình. Từ năm 2020, phương pháp RAG nhanh chóng trở nên phổ biến — theo lời tác giả, mặc dù có tên viết tắt không mấy thanh lịch, phương pháp này đã được áp dụng rộng rãi, tạo ra hàng trăm công trình khoa học và trở thành nền tảng cho nhiều dịch vụ thương mại.

Nguyên lý hoạt động của RAG

Sơ đồ nguyên lý của Retrieval-Augmented Generation: mô-đun tìm kiếm (bên trái) trích xuất các tài liệu liên quan từ cơ sở kiến thức, sau đó mô hình sinh (bên phải) tạo ra câu trả lời dựa trên truy vấn của người dùng có tính đến thông tin đã tìm thấy. Cách tiếp cận này cho phép LLM dựa vào dữ liệu bên ngoài cập nhật khi sinh câu trả lời. Sơ đồ cho thấy truy vấn của người dùng được chuyển đổi thành vector và được sử dụng để tìm kiếm các đoạn văn bản tương tự; sau đó chúng được kết nối với ngữ cảnh của mô hình, "mở rộng" kiến thức của nó và nâng cao độ chính xác của câu trả lời.

Hệ thống RAG thường bao gồm hai thành phần chính: mô-đun tìm kiếm (retriever) và mô-đun sinh câu trả lời (generator). Ở giai đoạn chuẩn bị, một chỉ mục vector của cơ sở kiến thức được xây dựng: tất cả các tài liệu (văn bản) được chia thành các đoạn và được mô hình embedding chuyển đổi thành các vector số, được lưu trữ trong cơ sở dữ liệu chuyên dụng để tìm kiếm sau này. Khi nhận được truy vấn của người dùng, cùng mô hình embedding đó mã hóa truy vấn thành vector; sau đó thực hiện tìm kiếm láng giềng gần nhất trong không gian vector — chọn top K đoạn tương tự nhất từ chỉ mục kiến thức (ví dụ: K = 5). Các đoạn này được coi là ngữ cảnh bên ngoài chứa các sự thật có thể liên quan đến chủ đề của truy vấn.

Ở bước tiếp theo, ngữ cảnh được hình thành được mô hình sinh sử dụng. Câu hỏi gốc cùng với các đoạn văn bản đã tìm thấy được đưa vào LLM (ví dụ: transformer kiểu seq2seq hoặc mô hình hướng dẫn) để sinh ra câu trả lời cuối cùng. Do đó, mô hình ngôn ngữ có điều kiện không chỉ dựa vào kiến thức đã học (tham số) của mình, mà còn vào dữ liệu bên ngoài được cung cấp cho nó. Trong triển khai gốc của RAG, mô hình BART được tiền huấn luyện đóng vai trò generator, còn "bộ nhớ" bên ngoài được biểu diễn bởi bộ sưu tập Wikipedia được lập chỉ mục bằng phương pháp DPR.

Fusion-подход к объединению знаний - Phương pháp Fusion để kết hợp kiến thức

Một đặc điểm quan trọng của RAG là cách mô hình kết hợp thông tin từ nhiều tài liệu đã tìm thấy. Khác với việc đơn giản nối toàn bộ văn bản lại, RAG áp dụng phương pháp được gọi là late fusion ("kết hợp muộn") — mô hình sinh xử lý song song từng đoạn trong số K đoạn nhận được và tạo ra câu trả lời giả thuyết với điểm tin cậy cho mỗi đoạn, sau đó tổng hợp các phương án này thành kết quả cuối cùng. Phương pháp này cho phép RAG tổng hợp câu trả lời ngay cả trong những trường hợp không có nguồn riêng lẻ nào chứa câu trả lời trực tiếp và đầy đủ cho câu hỏi. Ví dụ, nếu thông tin cần thiết được phân bổ trên các bài viết khác nhau, mô hình có thể kết hợp các "manh mối" từ nhiều tài liệu thành một câu trả lời duy nhất (Đáng chú ý rằng việc tăng số lượng tài liệu được sử dụng thường nâng cao tính đầy đủ của câu trả lời với cái giá là giảm nhẹ sự mạch lạc của văn bản.)

Các biến thể triển khai

Trong công trình gốc năm 2020, hai biến thể kiến trúc RAG được đề xuất. Ở chế độ RAG-Sequence, mô hình sinh nhận một tập cố định các tài liệu đã tìm thấy và sử dụng chúng để tạo ra toàn bộ câu trả lời. Ở chế độ RAG-Token, ngược lại, việc cập nhật động được cho phép: ở mỗi bước sinh token tiếp theo, mô hình có thể thực hiện lại tìm kiếm và tải thêm đoạn văn bản nếu cần để làm rõ câu trả lời. Cả hai phương pháp đều cho thấy mức chất lượng cao tương đương; RAG-Sequence đơn giản và nhanh hơn, trong khi RAG-Token về mặt lý thuyết cho phép xem xét nhiều thông tin khác nhau hơn trên các câu trả lời dài.

Ưu điểm của RAG

• Tính cập nhật và độ chính xác thực tế. Việc kết nối dữ liệu bên ngoài cho phép LLM đưa ra câu trả lời chính xác và có cơ sở hơn, dựa trên thông tin thực tế chứ không chỉ vào các tham số của mô hình. Điều này giảm đáng kể nguy cơ thông tin lỗi thời hoặc đơn giản là bịa đặt trong câu trả lời của mô hình. Khác với các mô hình có "mốc kiến thức" cố định, RAG có thể trả lời ngay cả các câu hỏi về các sự kiện hoặc sự kiện xuất hiện sau khi kết thúc quá trình huấn luyện mô hình — nhờ khả năng truy cập vào các nguồn dữ liệu mới.
• Tính minh bạch và sự tin tưởng của người dùng. Các hệ thống RAG có khả năng cung cấp liên kết đến các nguồn thông tin (ví dụ: các bài viết, báo cáo hoặc cơ sở dữ liệu) đã làm cơ sở cho câu trả lời. Về cơ bản, mô hình trình bày câu trả lời của mình giống như một công trình khoa học có chú thích, cho phép kiểm chứng độ tin cậy của từng sự thật. Sự hiện diện của các nguồn gốc được trích dẫn làm tăng sự tin tưởng từ phía người dùng và tạo điều kiện thuận lợi cho việc xác minh thông tin nhận được.
• Chuyên biệt hóa theo lĩnh vực. Retrieval-augmentation tạo cơ hội thích ứng tương đối dễ dàng hoạt động của mô hình với một lĩnh vực kiến thức hẹp, mà không cần thay đổi bản thân mô hình ngôn ngữ. Để làm điều này, chỉ cần cung cấp cho LLM một cơ sở kiến thức chuyên biệt theo chủ đề cần thiết — dù là các bài báo y tế, tài liệu pháp lý hay hướng dẫn kỹ thuật của công ty. Mô hình, vẫn là mô hình chung về các tham số của nó, bắt đầu đóng vai trò chuyên gia trong lĩnh vực đó, vì nó lấy sự thật từ dataset được chọn lọc. Ví dụ, trợ lý pháp lý dựa trên RAG có thể giới hạn phạm vi tìm kiếm chỉ trong một kho ngữ liệu pháp lý (luật của một quốc gia cụ thể), đảm bảo rằng câu trả lời sẽ phù hợp với đúng hệ thống pháp luật đó.
• Tính linh hoạt và khả năng cập nhật kiến thức. Trong các mô hình cổ điển, để thêm kiến thức mới hoặc sửa các sự kiện không chính xác, cần phải thực hiện huấn luyện lại (fine-tuning) trên dataset mở rộng, điều này tốn kém về thời gian và tài nguyên. RAG giải quyết vấn đề này: để cập nhật kiến thức của mô hình, chỉ cần cập nhật cơ sở dữ liệu bên ngoài hoặc kết nối các nguồn bổ sung, và mô hình sẽ ngay lập tức bắt đầu sử dụng thông tin mới. Điều này cho phép dễ dàng duy trì tính cập nhật của hệ thống — trên thực tế, dữ liệu có thể được thay thế "nóng" ngay cả trong thời gian thực mà không gián đoạn hoạt động của mô hình.
• Hiệu quả và tiết kiệm tài nguyên. Phương pháp RAG thường thực tế hơn so với việc huấn luyện các mô hình siêu lớn cố gắng bao phủ tất cả thông tin trong các tham số của chúng. Bằng cách tích hợp tìm kiếm, có thể đạt được kết quả tương đương với một mô hình có kích thước vừa phải, mà không cố gắng ghi nhớ tất cả các sự thật bên trong chính mạng nơ-ron. Ngoài ra, việc triển khai pipeline RAG tương đối đơn giản: đã có các công cụ sẵn có (framework, thư viện), và các nhà phát triển chứng minh rằng một nguyên mẫu RAG cơ bản có thể được xây dựng theo nghĩa đen chỉ với vài dòng code. Như vậy, RAG giảm tổng chi phí triển khai AI: thay vì huấn luyện một mô hình mới cho mỗi nhiệm vụ, chỉ cần cấu hình cơ chế tìm kiếm và cung cấp dữ liệu phù hợp.

Vấn đề và hạn chế của RAG

Mặc dù có những ưu điểm rõ ràng, Retrieval-Augmented Generation kế thừa những hạn chế từ cả các thành phần tìm kiếm lẫn bản thân các mô hình ngôn ngữ. Dưới đây là các vấn đề chính đặc trưng cho các hệ thống RAG:

• Phụ thuộc vào chất lượng tìm kiếm. Câu trả lời nhận được sẽ chính xác đúng ở mức độ mà dữ liệu được trích xuất có liên quan và đáng tin cậy. Nếu mô-đun tìm kiếm trả về các tài liệu không liên quan đến câu hỏi hoặc chứa lỗi, mô hình sinh sẽ không thể "sửa" các sự thật đó — nó sẽ tạo ra câu trả lời dựa trên chúng. Như vậy, chất lượng và tính cập nhật của cơ sở kiến thức bên ngoài trực tiếp xác định độ chính xác của RAG. Cần thường xuyên cập nhật chỉ mục và tinh chỉnh các thuật toán xếp hạng để việc trả về tài liệu vẫn có liên quan.
• Độ phức tạp cao và đòi hỏi tài nguyên nhiều. Hệ thống RAG để hoạt động cần không chỉ bản thân LLM, mà còn cả cơ sở hạ tầng để tìm kiếm: lưu trữ và cập nhật cơ sở dữ liệu lớn, lập chỉ mục, thời gian thực hiện truy vấn. Tất cả những điều này làm tăng chi phí tính toán và có thể làm giảm tốc độ phản hồi so với chỉ một mô hình ngôn ngữ. Trong trường hợp xấu nhất, độ trễ ở giai đoạn tìm kiếm hoặc xử lý lượng dữ liệu rất lớn sẽ làm chậm hệ thống. Trên thực tế, cần phải cân bằng giữa chất lượng câu trả lời và hiệu suất, tối ưu hóa pipeline (ví dụ: giới hạn kích thước cơ sở kiến thức hoặc độ sâu tìm kiếm để giữ thời gian phản hồi trong giới hạn bình thường).
• Yêu cầu về dữ liệu và hỗ trợ. Để RAG hoạt động hiệu quả, cần có dữ liệu bên ngoài chất lượng cao, có cấu trúc và có thể truy cập. Mô hình tìm kiếm có thể gặp khó khăn trong việc tìm thông tin hữu ích nếu cơ sở kiến thức bên ngoài được tổ chức kém hoặc chứa nhiễu. Ngoài ra, không phải lúc nào dữ liệu cần thiết cũng mở hoặc rẻ tiền: các công ty phải tạo và duy trì knowledge base riêng của mình. Điều này tạo ra chi phí bổ sung và đòi hỏi nỗ lực cập nhật dữ liệu (ví dụ: thêm tài liệu mới, xóa thông tin lỗi thời). Điểm yếu của RAG là sự phụ thuộc vào việc duy trì cơ sở kiến thức ở trạng thái cập nhật.
• Không thể loại bỏ hoàn toàn một số lỗi của LLM. Mặc dù RAG giảm đáng kể số lượng confabulation, nhưng không phải lúc nào cũng có thể loại bỏ hoàn toàn câu trả lời sai. Mô hình sinh vẫn có thể mắc lỗi logic hoặc khái quát hóa thông tin không chính xác, đặc biệt nếu ngữ cảnh được cung cấp không đầy đủ hoặc mâu thuẫn. Trên thực tế, RAG chuyển trọng tâm của các lỗi: thay vì các sự thật được bịa đặt hoàn toàn ("ảo giác"), thường gặp hơn là lỗi tích hợp kiến thức — ví dụ, mô hình có thể bỏ qua một đoạn quan trọng hoặc liên kết không chính xác các nguồn khác nhau với nhau. Do đó, trong các ứng dụng có trách nhiệm cao (y tế, pháp lý), vẫn cần sự tham gia của con người để xác minh và sửa chữa câu trả lời của hệ thống.

Ứng dụng của RAG

Phương pháp Retrieval-Augmented Generation đã được ứng dụng trong nhiều tình huống liên quan đến việc trích xuất và sử dụng kiến thức. Dưới đây là các lĩnh vực chính mà RAG thể hiện lợi ích lớn nhất:

• Hệ thống hỏi-đáp và chatbot. RAG cho phép tạo ra các trợ lý ảo và chatbot trả lời câu hỏi của người dùng với độ chính xác cao và có thể cung cấp liên kết đến các nguồn. Trong lĩnh vực hỗ trợ khách hàng, các bot như vậy truy cập vào cơ sở kiến thức nội bộ của công ty (FAQ, bài viết tham khảo) và đưa ra câu trả lời tức thì cho các yêu cầu của khách hàng, giảm tải cho nhân viên. Khác với các hệ thống FAQ cổ điển, các bot RAG đưa ra câu trả lời bằng ngôn ngữ tự nhiên, nhưng đồng thời "hỗ trợ" câu trả lời đó bằng dữ liệu cập nhật, đặc thù cho vấn đề của người dùng.
• Y tế và chăm sóc sức khỏe. Mô hình sinh được bổ sung bởi cơ sở dữ liệu y tế chuyên biệt (bài báo khoa học, hướng dẫn lâm sàng, sách tra cứu) có thể đóng vai trò trợ lý thông minh cho bác sĩ hoặc bệnh nhân. Ví dụ, hệ thống có thể trả lời câu hỏi về một chẩn đoán hiếm gặp bằng cách tìm kiếm trong tài liệu y tế các nghiên cứu mới nhất về chủ đề này. Ưu điểm quan trọng của RAG trong y tế là khả năng trích dẫn nguồn gốc (ví dụ: kết quả thử nghiệm lâm sàng), điều cần thiết để tạo sự tin tưởng từ phía các bác sĩ. Các hệ thống như vậy được sử dụng để hỗ trợ ra quyết định, kiểm tra triệu chứng, đào tạo sinh viên y khoa, v.v., cung cấp khả năng tiếp cận các kiến thức y tế mới nhất.
• Pháp lý và tài chính. Trong thực tiễn pháp lý và phân tích tài chính, tính chính xác và khả năng kiểm chứng thông tin đặc biệt quan trọng. Các hệ thống RAG có thể giúp các chuyên gia nhanh chóng tìm thấy dữ liệu cần thiết: ví dụ, luật sư với sự trợ giúp của mô hình sẽ tìm và trích dẫn quyết định án lệ hoặc điều khoản luật liên quan đến vụ án hiện tại, còn nhà phân tích tài chính — nhanh chóng nhận được trích đoạn từ các báo cáo kinh tế mới nhất hoặc tin tức thị trường. Đồng thời, mỗi câu trả lời của mô hình có thể chứa liên kết đến các tài liệu cụ thể (văn bản quy phạm pháp luật, báo cáo, bài viết), phù hợp với tiêu chuẩn ngành và tạo điều kiện thuận lợi cho công việc thủ công tiếp theo của chuyên gia.
• Nghiên cứu khoa học và tạo nội dung. Các nhà báo, nhà nghiên cứu và nhà văn có thể sử dụng RAG để đẩy nhanh việc tìm kiếm sự thật và nguồn khi chuẩn bị tài liệu. Ví dụ, mô hình có thể theo yêu cầu "thu thập" thông tin từ nhiều ấn phẩm đáng tin cậy và qua đó giảm đáng kể thời gian kiểm tra sự thật và chọn lọc trích dẫn. Các trợ lý nghiên cứu dựa trên RAG tự động trích xuất tài liệu tham khảo đến các công trình liên quan, dữ liệu từ các cơ sở mở (ví dụ: thống kê từ các báo cáo quốc tế) và thậm chí các bản dịch nháp, cho phép tác giả tập trung vào phần phân tích của công việc. Các công cụ như vậy được ứng dụng trong truyền thông, môi trường học thuật, khi chuẩn bị tổng quan tài liệu, v.v.
• Kiến thức doanh nghiệp và tìm kiếm tài liệu. Trong nhiều tổ chức, một lượng lớn thông tin có giá trị được lưu trữ dưới dạng tài liệu văn bản: quy định, hướng dẫn, báo cáo, thư tín, tệp nhật ký. RAG cung cấp phương pháp tìm kiếm tương tác trong dữ liệu phi cấu trúc như vậy bằng ngôn ngữ. Nhân viên có thể đặt câu hỏi ("Tài liệu nội bộ nói gì về chính sách nghỉ phép cho nhân viên làm việc từ xa?") — và mô hình sẽ tìm mục cần thiết trong tài liệu nội bộ, trích dẫn nó và soạn thảo câu trả lời tóm tắt. Điều này nâng cao hiệu quả làm việc: nhân viên mới tìm thấy câu trả lời nhanh hơn, các bộ phận hỗ trợ nhận được công cụ tìm kiếm nhanh theo cơ sở sự cố, và ban lãnh đạo — phương pháp phân tích dữ liệu văn bản tích lũy. Các công ty công nghệ lớn đã triển khai phương pháp RAG trong các giải pháp doanh nghiệp: các công nghệ từ Microsoft, Google, IBM, AWS và các công ty khác tích hợp LLM với tìm kiếm theo dữ liệu của tổ chức.

Triển vọng và nghiên cứu tiếp theo

Phương pháp Retrieval-Augmented Generation đang phát triển tích cực, và trong những năm tới, việc mở rộng thêm khả năng của nó được kỳ vọng. Một trong những hướng đi là RAG đa phương thức, trong đó thông tin bên ngoài có thể không chỉ là văn bản, mà còn là hình ảnh, âm thanh/video hoặc thậm chí dữ liệu từ cảm biến. Các thí nghiệm cho thấy tính triển vọng của việc kết hợp các mô hình ngôn ngữ với tìm kiếm theo cơ sở dữ liệu hình ảnh, điều này sẽ cho phép, ví dụ, trả lời câu hỏi về nội dung của hình ảnh hoặc video, dựa trên mô tả và các văn bản liên quan. Một hướng quan trọng khác là đồng thời sử dụng nhiều nguồn kiến thức: các hệ thống RAG trong tương lai sẽ có thể kết hợp dữ liệu từ các cơ sở khác nhau (ví dụ: Wikipedia, các bách khoa toàn thư chuyên biệt, ghi chú cá nhân của người dùng) và tổng hợp câu trả lời có tính đến tất cả những thông tin không đồng nhất này.

Các nhà nghiên cứu cũng đối mặt với nhiệm vụ nâng cao độ tin cậy và an toàn của RAG. Cần thiết phải giảm thiểu nguy cơ lan truyền các thành kiến và lỗi có thể chứa trong dữ liệu bên ngoài, cũng như đảm bảo tính nhất quán của câu trả lời. Nhóm phát triển RAG gốc đã thực hiện các bước theo hướng này — ví dụ, giới hạn cơ sở kiến thức ban đầu chỉ với các bài viết Wikipedia như một nguồn tương đối đã được kiểm chứng và trung lập. Trong tương lai, có kế hoạch tạo ra các bộ lọc và phương pháp lựa chọn tài liệu đặc biệt để mô hình nhận được ngữ cảnh chất lượng tốt đã biết trước. Ngoài ra, các nghiên cứu tập trung vào việc cải thiện bản thân cơ chế tìm kiếm: các thuật toán xếp hạng và lập chỉ mục ngữ nghĩa mới đang được phát triển, có khả năng hiểu truy vấn chính xác hơn và tìm thông tin có liên quan ngay cả với các diễn đạt phức tạp hoặc mơ hồ.

Cuối cùng, điều thú vị là việc tích hợp sâu hơn RAG với quá trình huấn luyện các mô hình ngôn ngữ. Đã xuất hiện các phương pháp mà cơ chế retrieval được sử dụng không chỉ ở giai đoạn suy luận, mà còn trong quá trình tiền huấn luyện hoặc fine-tuning của LLM. Điều này có thể nâng cao hơn nữa tính thực tế của các mô hình và giảm sự phụ thuộc của chúng vào kiến thức được ghi tĩnh trong các trọng số. Theo các bài tổng quan được xuất bản vào năm 2024, cộng đồng thấy nhiều triển vọng trong việc phát triển hệ sinh thái RAG: từ tối ưu hóa cơ sở hạ tầng (tăng tốc tìm kiếm, giảm chi phí bộ nhớ) đến việc tạo ra các benchmark tiêu chuẩn để đánh giá chất lượng hệ thống RAG. Tất cả những điều này nhằm làm cho các mô hình sinh chính xác hơn, linh hoạt hơn và an toàn hơn khi làm việc với kiến thức bên ngoài liên tục cập nhật, đây là bước quan trọng trên con đường đến trí tuệ nhân tạo đáng tin cậy thế hệ mới.

Liên kết ngoài

• Retrieval-Augmented Generation (RAG) là gì — blog NVIDIA
• Retrieval-Augmented Generation for Large Language Models: A Survey — bài tổng quan khoa học trên arXiv
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — bài báo gốc về RAG
• RAG là gì? Ứng dụng, hạn chế và thách thức — blog Bright Data

Tài liệu tham khảo

• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Karpukhin, V. et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. arXiv:2004.04906.
• Guu, K. et al. (2020). REALM: Retrieval-Augmented Language Model Pre-Training. arXiv:2002.08909.
• Qu, Y. et al. (2020). RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering. arXiv:2010.08191.
• Izacard, G.; Grave, E. (2021). Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. arXiv:2007.01282.
• Borgeaud, S. et al. (2022). Improving Language Models by Retrieving from Trillions of Tokens. arXiv:2112.04426.
• Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
• Mialon, G. et al. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv:2312.10997.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Yang, Z. et al. (2023). Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning. arXiv:2302.04858.
• Barnett, S. et al. (2024). Seven Failure Points When Engineering a Retrieval Augmented Generation System. arXiv:2401.05856.
• Wang, Y. et al. (2024). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Han, H. et al. (2025). Retrieval-Augmented Generation with Graphs (GraphRAG). arXiv:2501.00309.