Retrieval-augmented generation (RAG) (PL)

Retrieval-Augmented Generation (RAG) (pol. Generowanie wspomagane wyszukiwaniem) — to metoda w dziedzinie sztucznej inteligencji, w której generatywny model językowy (LLM) jest wyposażony w dostęp do zewnętrznych źródeł informacji w celu poprawy dokładności i wiarygodności odpowiedzi. Innymi słowy, model przed wygenerowaniem odpowiedzi wykonuje wyszukiwanie istotnych danych (na przykład w bazie dokumentów, na stronie internetowej lub w bazie danych) i wykorzystuje znalezione informacje podczas formułowania odpowiedzi. Takie podejście zapewnia „wzbogacenie" wiedzy z aktualnych źródeł i pomaga przezwyciężyć ograniczenia samych LLM związane z ograniczoną pojemnością „pamięci" i przestarzałymi informacjami. System RAG może odwoływać się do konkretnych dokumentów (na przykład w formie przypisów) w wygenerowanej odpowiedzi, co zwiększa przejrzystość i pozwala użytkownikowi weryfikować fakty. W rezultacie zmniejsza się ryzyko wystąpienia halucynacji — przypadków, gdy model pewnie podaje nieprawdziwe informacje. RAG rozszerza bazę wiedzy LLM praktycznie do nieograniczonego rozmiaru i umożliwia modelom korzystanie z najnowszych danych bez ponownego uczenia.

Początki i rozwój metody

Idea łączenia wyszukiwania informacji z automatycznym generowaniem odpowiedzi zrodziła się na długo przed pojawieniem się współczesnych LLM. Już w latach 70. XX wieku podejmowano próby tworzenia systemów question-answering, które wyszukiwały odpowiedzi w tekstowych bazach danych na podstawie zadanego pytania. W latach 90. pojawił się serwis internetowy Ask Jeeves, który spopularyzował wyszukiwanie odpowiedzi w języku naturalnym, a w 2011 roku system IBM Watson zademonstrował możliwości AI, wygrywając teleturniej Jeopardy! z ludzkimi uczestnikami.

Współczesny etap rozwoju związany jest z wprowadzeniem neuronowych modeli językowych: Retrieval-Augmented Generation jako odrębne podejście zostało zaproponowane w 2020 roku przez grupę badaczy z Facebook AI Research, University College London i innych instytucji pod kierownictwem Patricka Lewisa. W ich pracy, przyjętej na NeurIPS 2020, opisano model RAG — generatywny model seq2seq (na przykład BART) z różniczkowalnym dostępem do zewnętrznego „nieparametrycznego" magazynu wiedzy. Autorzy wykorzystali jako zewnętrzną bazę wiedzy całą anglojęzyczną Wikipedię, przedstawiając ją w postaci indeksu wektorowego (~21 milionów fragmentów tekstu), w którym wyszukiwanie odbywa się za pomocą neuronowego algorytmu Dense Passage Retrieval. Dla przychodzącego zapytania model RAG wydobywa z indeksu najbardziej odpowiednie fragmenty i dodaje je do kontekstu generowania odpowiedzi. Taki mechanizm pozwolił osiągnąć nowe rekordowe wyniki (state-of-the-art) w zadaniach z otwartą bazą wiedzy, na przykład w testach Natural Questions, WebQuestions i innych. Odnotowano, że odpowiedzi modelu RAG były bardziej szczegółowe i faktograficznie poprawne niż w poprzednich podejściach generatywnych, dzięki syntezie informacji z kilku źródeł jednocześnie. Wkrótce Facebook publicznie opublikował kod źródłowy RAG: model został zintegrowany z biblioteką HuggingFace Transformers i powiązanym zestawem danych, co umożliwiło programistom łatwe stosowanie RAG we własnych projektach. Od 2020 roku metoda RAG szybko zyskała popularność — według słów autora, pomimo niezbyt brzmiącej skrótu, podejście rozpowszechniło się szeroko, rodząc setki prac naukowych i stając się podstawą wielu komercyjnych serwisów.

Zasada działania RAG

Schematyczny diagram Retrieval-Augmented Generation: moduł wyszukiwania (po lewej) wydobywa istotne dokumenty z bazy wiedzy, po czym model generatywny (po prawej) formułuje odpowiedź na podstawie zapytania użytkownika z uwzględnieniem znalezionych informacji. Takie podejście pozwala LLM opierać się na aktualnych danych zewnętrznych podczas generowania odpowiedzi. Na diagramie pokazano, jak zapytanie użytkownika jest przekształcane w wektor i używane do wyszukiwania podobnych fragmentów tekstu; następnie są one dołączane do kontekstu modelu, „rozszerzając" jej wiedzę i zwiększając dokładność odpowiedzi.

System RAG zazwyczaj składa się z dwóch głównych komponentów: modułu wyszukiwania (retriever) i modułu generowania odpowiedzi (generator). Na etapie przygotowania budowany jest indeks wektorowy bazy wiedzy: wszystkie dokumenty (teksty) są dzielone na fragmenty i przekształcane przez model embeddingu w wektory liczbowe, które są przechowywane w wyspecjalizowanej bazie danych do późniejszego wyszukiwania. Po otrzymaniu zapytania użytkownika ten sam model embeddingu koduje zapytanie do wektora; następnie wykonywane jest wyszukiwanie najbliższych sąsiadów w przestrzeni wektorowej — wybieranych jest top K najbardziej podobnych fragmentów z indeksu wiedzy (na przykład K = 5). Te fragmenty są traktowane jako zewnętrzny kontekst zawierający prawdopodobne fakty na temat zapytania.

W kolejnym etapie uformowany kontekst jest wykorzystywany przez model generatywny. Oryginalne pytanie wraz ze znalezionymi fragmentami tekstowymi jest podawane na wejście LLM (na przykład transformera typu seq2seq lub modelu zorientowanego na instrukcje) w celu wygenerowania końcowej odpowiedzi. Model językowy opiera się tym samym nie tylko na swojej wyuczonej (parametrycznej) wiedzy, ale również na dostarczonych mu danych zewnętrznych. W oryginalnej implementacji RAG rolę generatora pełnił wstępnie nauczony model BART, a zewnętrzna „pamięć" była reprezentowana przez kolekcję Wikipedii zaindeksowaną metodą DPR.

Fusion - podejście do łączenia wiedzy

Ważną cechą RAG jest sposób, w jaki model łączy informacje z kilku znalezionych dokumentów. W odróżnieniu od prostego konkatenowania całego tekstu, RAG stosuje podejście znane jako late fusion („późne łączenie wyników") — model generatywny równolegle przetwarza każdy z K otrzymanych fragmentów i formuje dla niego hipotetyczną odpowiedź z oceną pewności, po czym agreguje te warianty w finalny wynik. Taka metoda pozwala RAG syntetyzować odpowiedź nawet w przypadkach, gdy żadne z osobnych źródeł nie zawiera bezpośredniej i pełnej odpowiedzi na pytanie. Na przykład, jeśli potrzebne informacje są rozproszone po różnych artykułach, model jest w stanie połączyć „wskazówki" z kilku dokumentów w jedną odpowiedź (Odnotowano, że zwiększenie liczby używanych dokumentów zazwyczaj podnosi kompletność odpowiedzi kosztem niewielkiej utraty spójności tekstu.)

Warianty implementacji

W oryginalnej pracy z 2020 roku zaproponowano dwie modyfikacje architektury RAG. W trybie RAG-Sequence model generatywny otrzymuje stały zestaw znalezionych dokumentów i używa ich do wygenerowania całej odpowiedzi. W trybie RAG-Token natomiast dopuszczana jest dynamiczna aktualizacja: na każdym kroku generowania kolejnego tokenu model może ponownie wykonać wyszukiwanie i pobrać dodatkowy fragment tekstu, jeśli jest to konieczne do doprecyzowania odpowiedzi. Oba podejścia wykazują zbliżony wysoki poziom jakości; RAG-Sequence jest prostszy i szybszy, podczas gdy RAG-Token teoretycznie pozwala uwzględnić więcej różnorodnych informacji przy długich odpowiedziach.

Zalety RAG

• Aktualność i dokładność faktyczna. Podłączenie zewnętrznych danych pozwala LLM udzielać dokładniejszych i bardziej uzasadnionych odpowiedzi, opierając się na rzeczywistych informacjach, a nie tylko na parametrach modelu. Znacząco zmniejsza to ryzyko przestarzałych lub po prostu wymyślonych informacji w odpowiedzi modelu. W odróżnieniu od modeli z ustalonym „przekrojem wiedzy", RAG może odpowiadać nawet na pytania o zdarzenia lub fakty, które pojawiły się po zakończeniu uczenia modelu — dzięki dostępowi do świeżych źródeł danych.
• Przejrzystość i zaufanie użytkowników. Systemy RAG mogą dostarczać odnośniki do źródeł informacji (na przykład artykułów, raportów lub baz danych), które stanowiły podstawę odpowiedzi. W istocie model formatuje swoje odpowiedzi podobnie do pracy naukowej z przypisami, co pozwala zweryfikować wiarygodność każdego faktu. Obecność cytowanych pierwotnych źródeł zwiększa zaufanie ze strony użytkowników i ułatwia weryfikację uzyskanych informacji.
• Specjalizacja pod kątem dziedziny wiedzy. Retrieval-augmentation umożliwia stosunkowo łatwe dostosowanie działania modelu do wąskiej domeny wiedzy, bez zmiany samego modelu językowego. Wystarczy wyposażyć LLM w wyspecjalizowaną bazę wiedzy z odpowiedniej tematyki — czy to artykułów medycznych, dokumentów prawnych, czy firmowych instrukcji technicznych. Model, pozostając ogólny pod względem swoich parametrów, zaczyna pełnić rolę eksperta w danej dziedzinie, czerpiąc fakty z wyselekcjonowanego datasetu. Na przykład asystent prawny oparty na RAG może ograniczyć obszar wyszukiwania do jednego korpusu jurysdykcyjnego (ustaw konkretnego kraju), gwarantując, że odpowiedzi będą zgodne właśnie z tym ustawodawstwem.
• Elastyczność i aktualizowalność wiedzy. W klasycznych modelach dodanie nowej wiedzy lub poprawienie błędnych faktów wymagało ponownego uczenia (fine-tuning) na rozszerzonym datasecie, co jest kosztowne pod względem czasu i zasobów. RAG rozwiązuje ten problem: aby zaktualizować wiedzę modelu, wystarczy zaktualizować zewnętrzną bazę danych lub podłączyć dodatkowe źródła, a model natychmiast zacznie wykorzystywać nowe informacje. Pozwala to łatwo utrzymywać aktualność systemu — dane można faktycznie „gorąco" wymieniać nawet w czasie rzeczywistym bez przerwy w działaniu modelu.
• Efektywność i oszczędność zasobów. Podejście RAG często okazuje się bardziej praktyczne niż trenowanie bardzo dużych modeli, dążących do objęcia wszystkich informacji w swoich parametrach. Integrując wyszukiwanie, można osiągnąć porównywalne wyniki z modelem umiarkowanego rozmiaru, bez próby zapamiętywania absolutnie wszystkich faktów wewnątrz samej sieci neuronowej. Ponadto wdrożenie pipeline'u RAG jest stosunkowo proste: istnieją gotowe narzędzia (frameworks, biblioteki), a programiści pokazują, że podstawowy prototyp RAG można zbudować dosłownie w kilku linijkach kodu. RAG obniża zatem łączne koszty wdrożenia AI: zamiast uczenia nowego modelu do każdego zadania, wystarczy skonfigurować mechanizm wyszukiwania i dostarczyć odpowiednie dane.

Problemy i ograniczenia RAG

Pomimo oczywistych zalet, Retrieval-Augmented Generation dziedziczy ograniczenia zarówno od komponentów wyszukiwania, jak i od samych modeli językowych. Poniżej wymieniono kluczowe problemy charakterystyczne dla systemów RAG:

• Zależność od jakości wyszukiwania. Uzyskana odpowiedź będzie poprawna dokładnie w takim stopniu, w jakim wydobyte dane są istotne i wiarygodne. Jeśli moduł wyszukiwania zwróci dokumenty niezwiązane z pytaniem lub zawierające błędy, model generatywny nie będzie mógł „poprawić" tych faktów — wygeneruje odpowiedź na ich podstawie. Jakość i aktualność zewnętrznej bazy wiedzy bezpośrednio determinuje precyzję RAG. Wymagane jest regularne aktualizowanie indeksu i dostrajanie algorytmów rankingowych, aby wyniki dokumentów pozostawały trafne.
• Wysoka złożoność i zasobochłonność. System RAG do działania wymaga nie tylko samego LLM, ale i infrastruktury do wyszukiwania: przechowywania i aktualizacji dużej bazy danych, indeksowania, czasu na wykonanie zapytania. Wszystko to zwiększa koszty obliczeniowe i może spowalniać czas odpowiedzi w porównaniu z samym modelem językowym. W najgorszym przypadku opóźnienia na etapie wyszukiwania lub przetwarzanie bardzo dużej ilości danych spowolnią system. W praktyce konieczne jest balansowanie między jakością odpowiedzi a wydajnością, optymalizując pipeline (na przykład ograniczając rozmiar bazy wiedzy lub głębokość wyszukiwania, aby utrzymać czas odpowiedzi w dopuszczalnych granicach).
• Wymagania dotyczące danych i utrzymania. Aby RAG działał efektywnie, konieczne są wysokiej jakości, ustrukturyzowane i dostępne dane zewnętrzne. Model wyszukiwania może mieć trudności ze znajdowaniem przydatnych informacji, jeśli zewnętrzna baza wiedzy jest słabo zorganizowana lub zawiera szum. Ponadto potrzebne dane nie zawsze są otwarte lub tanie: firmy muszą tworzyć i utrzymywać własne knowledge bases. Stwarza to dodatkowe koszty i wymaga wysiłków związanych z aktualizacją danych (na przykład dodawanie nowych dokumentów, usuwanie przestarzałych informacji). Słabym punktem RAG jest zależność od utrzymywania bazy wiedzy w aktualnym stanie.
• Nieusuwalność niektórych błędów LLM. Choć RAG znacznie zmniejsza liczbę konfabulacji, całkowite wyeliminowanie błędnych odpowiedzi nie zawsze jest możliwe. Model generatywny nadal może popełnić błąd logiczny lub niepoprawnie uogólnić informacje, szczególnie jeśli dostarczony kontekst jest niewystarczająco pełny lub sprzeczny. W praktyce RAG przenosi akcent błędów: zamiast jawnie wymyślonych faktów („halucynacji") częściej pojawiają się błędy integracji wiedzy — na przykład model może pominąć ważny fragment lub niepoprawnie powiązać różne źródła ze sobą. Dlatego w odpowiedzialnych zastosowaniach (medycyna, prawo) nadal wymagany jest udział człowieka w weryfikacji i korygowaniu odpowiedzi systemu.

Zastosowanie RAG

Metoda Retrieval-Augmented Generation znalazła zastosowanie w wielu scenariuszach związanych z wydobywaniem i wykorzystywaniem wiedzy. Poniżej wymieniono główne obszary, gdzie RAG wykazuje największą przydatność:

• Systemy pytań i odpowiedzi oraz chatboty. RAG pozwala tworzyć wirtualnych asystentów i chatboty, które odpowiadają na pytania użytkowników z wysoką dokładnością i mogą dostarczać odnośniki do źródeł. W sferze obsługi klienta takie boty odwołują się do wewnętrznej bazy wiedzy firmy (FAQ, artykuły pomocnicze) i udzielają natychmiastowych odpowiedzi na zapytania klientów, zmniejszając obciążenie pracowników. W odróżnieniu od klasycznych systemów FAQ, boty RAG formułują odpowiedź żywym językiem, ale jednocześnie „podpierają" ją aktualnymi danymi specyficznymi dla problemu użytkownika.
• Medycyna i ochrona zdrowia. Model generatywny wzbogacony wyspecjalizowaną bazą danych medycznych (artykuły naukowe, protokoły kliniczne, podręczniki) może pełnić rolę inteligentnego asystenta lekarza lub pacjenta. Na przykład system będzie mógł odpowiedzieć na pytanie o rzadką diagnozę, znajdując w literaturze medycznej najnowsze badania na ten temat. Ważną zaletą RAG w medycynie jest możliwość odwoływania się do pierwotnych źródeł (na przykład wyników badań klinicznych), co jest niezbędne dla uzyskania zaufania ze strony lekarzy. Takie systemy stosowane są do wspomagania podejmowania decyzji, sprawdzania objawów, kształcenia studentów medycyny itp., zapewniając dostęp do najnowszej wiedzy medycznej.
• Prawo i finanse. W praktyce prawniczej i analizie finansowej szczególnie krytyczna jest dokładność i weryfikowalność informacji. Systemy RAG mogą pomóc specjalistom szybko znajdować niezbędne dane: na przykład prawnik z pomocą modelu znajdzie i zacytuje precedensowe orzeczenie sądowe lub artykuł ustawy istotny dla bieżącej sprawy, a analityk finansowy — sprawnie uzyska fragmenty z najnowszych raportów ekonomicznych lub wiadomości rynkowych. Przy tym każda odpowiedź modelu może zawierać odnośniki do konkretnych dokumentów (akty normatywne, raporty, artykuły), co odpowiada standardom branżowym i ułatwia późniejszą ręczną pracę specjalisty.
• Badania naukowe i tworzenie treści. Dziennikarze, badacze i pisarze mogą używać RAG do przyspieszenia wyszukiwania faktów i źródeł przy przygotowywaniu materiałów. Na przykład model jest w stanie na żądanie „zebrać" informacje z kilku wiarygodnych publikacji, znacznie skracając czas potrzebny na fact-checking i dobór cytatów. Asystenci badawczy oparci na RAG automatycznie wydobywają odnośniki do istotnych prac, dane z otwartych baz (na przykład statystyki z międzynarodowych raportów), a nawet wstępne tłumaczenia, pozwalając autorom skupić się na analitycznej części pracy. Podobne narzędzia znajdują zastosowanie w mediach, środowisku akademickim, przy przygotowywaniu przeglądów literatury itp.
• Wiedza korporacyjna i wyszukiwanie w dokumentach. W wielu organizacjach znaczna część cennych informacji jest przechowywana w postaci dokumentów tekstowych: regulaminy, instrukcje, raporty, korespondencja, pliki dzienników. RAG dostarcza sposób interaktywnego wyszukiwania po takich nieustrukturyzowanych danych za pomocą języka naturalnego. Pracownik może zadać pytanie („Co mówi polityka urlopowa dla pracowników zdalnych?") — i model znajdzie odpowiedni fragment dokumentu wewnętrznego, zacytuje go i sformułuje zbiorczą odpowiedź. Zwiększa to efektywność pracy: nowi pracownicy szybciej znajdują odpowiedzi na pytania, działy wsparcia otrzymują narzędzie do operatywnego przeszukiwania bazy incydentów, a kierownictwo — sposób analizowania zgromadzonych danych tekstowych. Duże firmy IT już wdrażają podejście RAG w rozwiązaniach korporacyjnych: technologie od Microsoft, Google, IBM, AWS i innych integrują LLM z wyszukiwaniem po danych organizacji.

Perspektywy i dalsze badania

Metoda Retrieval-Augmented Generation aktywnie się rozwija i w najbliższych latach oczekiwane jest dalsze rozszerzenie jej możliwości. Jednym z kierunków jest multimodalny RAG, gdzie jako zewnętrzne informacje mogą służyć nie tylko teksty, ale i obrazy, audio/wideo lub nawet dane z czujników. Eksperymenty pokazują perspektywiczność łączenia modeli językowych z wyszukiwaniem po wizualnych bazach danych, co pozwoli na przykład odpowiadać na pytania dotyczące treści obrazów lub filmów, opierając się na opisach i powiązanych tekstach. Innym ważnym kierunkiem jest jednoczesne korzystanie z wielu źródeł wiedzy: przyszłe systemy RAG będą mogły łączyć dane z różnych baz (na przykład Wikipedia, wyspecjalizowane encyklopedie, osobiste notatki użytkownika) i syntetyzować odpowiedzi uwzględniające wszystkie te różnorodne informacje.

Przed badaczami stoi również zadanie zwiększenia niezawodności i bezpieczeństwa RAG. Konieczne jest minimalizowanie ryzyka rozpowszechniania uprzedzeń i błędów, które mogą zawierać się w danych zewnętrznych, a także gwarantowanie spójności odpowiedzi. Zespół twórców oryginalnego RAG już podejmował kroki w tym kierunku — na przykład ograniczając początkową bazę wiedzy wyłącznie do artykułów Wikipedii jako stosunkowo zweryfikowanego i neutralnego źródła. W przyszłości planowane jest tworzenie specjalnych filtrów i metod selekcji dokumentów, aby model otrzymywał z góry wysokiej jakości kontekst. Ponadto badania koncentrują się na ulepszaniu samego mechanizmu wyszukiwania: opracowywane są nowe algorytmy rankingowania i semantycznego indeksowania, zdolne do dokładniejszego rozumienia zapytań i znajdowania istotnych informacji nawet przy skomplikowanych lub nieostrych sformułowaniach.

Wreszcie, interesująca jest głębsza integracja RAG z procesem uczenia modeli językowych. Pojawiają się już podejścia, w których mechanizmy retrieval są używane nie tylko na etapie wnioskowania, ale również przy wstępnym uczeniu lub fine-tuningu LLM. Może to jeszcze bardziej zwiększyć faktograficzność modeli i zmniejszyć ich zależność od wiedzy statycznie zapisanej w wagach. Zgodnie z przeglądami opublikowanymi w 2024 roku, środowisko dostrzega duże perspektywy w rozwoju ekosystemu RAG: od optymalizacji infrastruktury (przyspieszenie wyszukiwania, obniżenie kosztów pamięci) do tworzenia standardowych benchmarków do oceny jakości systemów RAG. Wszystko to ma na celu uczynienie modeli generatywnych bardziej precyzyjnymi, wszechstronnymi i bezpiecznymi w pracy z stale aktualizowaną zewnętrzną wiedzą, co stanowi kluczowy krok na drodze do niezawodnej sztucznej inteligencji nowej generacji.

Odnośniki

• Czym jest Retrieval-Augmented Generation (RAG) — blog NVIDIA
• Retrieval-Augmented Generation for Large Language Models: A Survey — przegląd naukowy na arXiv
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — oryginalny artykuł o RAG
• Czym jest RAG? Zastosowanie, ograniczenia i wyzwania — blog Bright Data

Literatura

• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Karpukhin, V. et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. arXiv:2004.04906.
• Guu, K. et al. (2020). REALM: Retrieval-Augmented Language Model Pre-Training. arXiv:2002.08909.
• Qu, Y. et al. (2020). RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering. arXiv:2010.08191.
• Izacard, G.; Grave, E. (2021). Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. arXiv:2007.01282.
• Borgeaud, S. et al. (2022). Improving Language Models by Retrieving from Trillions of Tokens. arXiv:2112.04426.
• Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
• Mialon, G. et al. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv:2312.10997.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Yang, Z. et al. (2023). Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning. arXiv:2302.04858.
• Barnett, S. et al. (2024). Seven Failure Points When Engineering a Retrieval Augmented Generation System. arXiv:2401.05856.
• Wang, Y. et al. (2024). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Han, H. et al. (2025). Retrieval-Augmented Generation with Graphs (GraphRAG). arXiv:2501.00309.