Retrieval-augmented generation (RAG) (HU)

Retrieval-Augmented Generation (RAG) (m. Visszakereséssel augmentált generálás) — ez egy mesterséges intelligencia területéhez tartozó módszer, amelynek során a generatív nyelvi modell (LLM) hozzáférést kap külső információforrásokhoz a válaszok pontosságának és megbízhatóságának javítása érdekében. Másképpen fogalmazva, a modell a válasz generálása előtt releváns adatok keresését végzi (például dokumentumadatbázisban, webhelyen vagy adatbázisban), és a talált információkat felhasználja a válasz kialakításakor. Ez a megközelítés aktuális forrásokból származó ismeretekkel való „kiegészítést" biztosít, és segít leküzdeni maguk az LLM-ek korlátait, amelyek a korlátozott „memóriakapacitáshoz" és az elavult információkhoz kapcsolódnak. A RAG-rendszer konkrét dokumentumokra hivatkozhat (például lábjegyzetek formájában) a generált válaszban, ami növeli az átláthatóságot, és lehetővé teszi a felhasználó számára a tények ellenőrzését. Ennek eredményeként csökken a hallucinációk kockázata — azok az esetek, amikor a modell magabiztosan hamis információt ad. A RAG az LLM tudásbázisát gyakorlatilag korlátlan mértékre bővíti, és lehetővé teszi a modellek számára, hogy a legfrissebb adatokat is felhasználják újratanítás nélkül.

A módszer eredete és fejlődése

Az információkeresés és az automatikus válaszgenerálás kombinálásának ötlete jóval a modern LLM-ek megjelenése előtt keletkezett. Már az 1970-es években kísérleteket tettek question-answering rendszerek létrehozására, amelyek adott kérdés alapján szöveges adatbázisokban kerestek válaszokat. Az 1990-es években megjelent az Ask Jeeves webszolgáltatás, amely popularizálta a természetes nyelvű keresést, 2011-ben pedig az IBM Watson rendszer demonstrálta az MI lehetőségeit azzal, hogy megnyerte a Jeopardy! televíziós vetélkedőt az emberi versenyzőkkel szemben.

A fejlődés modern szakasza a neurális hálózati nyelvi modellek bevezetéséhez kapcsolódik: a Retrieval-Augmented Generation mint önálló megközelítés 2020-ban jelent meg, amelyet a Facebook AI Research, a University College London és más intézmények kutatói javasoltak Patrick Lewis vezetésével. A NeurIPS 2020-on elfogadott munkájukban leírták a RAG modellt — egy generatív seq2seq-modellt (például BART) differenciálható hozzáféréssel egy külső „nem-parametrikus" tudástárhoz. A szerzők a teljes angol nyelvű Wikipédiát használták külső tudásbázisként, amelyet vektoros indexként (~21 millió szövegrészlet) ábrázoltak, amelyen a Dense Passage Retrieval neurális algoritmussal végeznek keresést. A bejövő lekérdezéshez a RAG modell kivonja az indexből a legrelevánsabb részleteket, és hozzáadja azokat a válaszgenerálás kontextusához. Ez a mechanizmus lehetővé tette új csúcseredmények (state-of-the-art) elérését nyílt tudásbázisú feladatokon, például a Natural Questions, WebQuestions és más teszteken. Megállapítást nyert, hogy a RAG-modell válaszai specifikusabbak és tényszerűen pontosabbak voltak, mint a korábbi generatív megközelítéseké, köszönhetően a több forrásból egyszerre szintetizált információnak. Hamarosan a Facebook nyilvánosan közzétette a RAG forráskódját: a modell integrálásra került a HuggingFace Transformers könyvtárba és a kapcsolódó adatkészletbe, ami lehetővé tette a fejlesztők számára, hogy könnyen alkalmazzák a RAG-ot projektjeikben. 2020 óta a RAG módszertan gyorsan népszerűvé vált — a szerző szavai szerint, a nem éppen hangzatos rövidítés ellenére, a megközelítés széles körben elterjedt, több száz tudományos munkát szülve, és számos kereskedelmi szolgáltatás alapjává vált.

A RAG működési elve

A Retrieval-Augmented Generation elvi sémája: a keresési modul (balra) releváns dokumentumokat von ki a tudásbázisból, majd a generatív modell (jobbra) a felhasználói lekérdezés alapján, a talált információkat figyelembe véve alakítja ki a választ. Ez a megközelítés lehetővé teszi az LLM számára, hogy a válasz generálásakor aktuális külső adatokra támaszkodjon. Az ábra megmutatja, hogyan alakul vektorrá a felhasználói lekérdezés, amellyel hasonló szövegrészleteket keresnek; ezeket ezután a modell kontextusához csatolják, „kibővítve" annak tudását és növelve a válasz pontosságát.

A RAG-rendszer általában két fő összetevőből áll: a keresési modulból (retriever) és a válaszgenerálási modulból (generator). Az előkészítési szakaszban felépül a tudásbázis vektoros indexe: az összes dokumentumot (szöveget) részletekre bontják, és az embedding-modell numerikus vektorokká alakítja azokat, amelyeket egy speciális adatbázisban tárolnak a későbbi kereséshez. Amikor megérkezik a felhasználói lekérdezés, ugyanaz az embedding-modell vektorrá kódolja; ezután a vektortérben a legközelebbi szomszédok keresése következik — a tudásindexből kiválasztják a top K leghasonlóbb részletet (például K = 5). Ezeket a részleteket külső kontextusnak tekintik, amelyek valószínű tényeket tartalmaznak a lekérdezés témájával kapcsolatban.

A következő szakaszban a kialakított kontextust a generatív modell használja fel. Az eredeti kérdést a talált szövegrészletekkel együtt az LLM-be töltik (például seq2seq típusú vagy instrukció-orientált transzformerbe) a végső válasz generálásához. A nyelvi modell így feltételesen nemcsak saját tárolt (parametrikus) tudására támaszkodik, hanem a rendelkezésére bocsátott külső adatokra is. Az eredeti RAG-implementációban a generátor szerepét az előtanított BART modell töltötte be, a külső „memóriát" pedig a DPR módszerrel indexelt Wikipedia-gyűjtemény képviselte.

Fusion-megközelítés - Tudások összesítésének fusion-megközelítése

A RAG fontos jellemzője az a módszer, ahogyan a modell kombinálja a megtalált dokumentumokból nyert információkat. Az összes szöveg egyszerű összefűzésével ellentétben a RAG a late fusion („késői eredmény-összesítés") megközelítést alkalmazza — a generatív modell párhuzamosan dolgozza fel a K kapott részlet mindegyikét, és mindegyikhez hipotetikus választ képez bizonyossági értékkel, majd ezeket a változatokat aggregálja a végső kimenetté. Ez a módszer lehetővé teszi a RAG számára, hogy választ szintetizáljon még azokban az esetekben is, amikor egyetlen forrás sem tartalmaz közvetlen és teljes választ a kérdésre. Például, ha a szükséges információ különböző cikkekben oszlik meg, a modell képes „kapaszkodókat" összesíteni több dokumentumból egyetlen válasszá. (Megjegyzendő, hogy a felhasznált dokumentumok számának növelése általában javítja a válasz teljességét a szöveges koherencia kis csökkenésének árán.)

Megvalósítási változatok

Az eredeti 2020-as munkában a RAG architektúra két módosítását javasolták. A RAG-Sequence módban a generatív modell a megtalált dokumentumok rögzített készletét kapja, és ezeket felhasználva hozza létre a teljes választ. A RAG-Token módban ezzel szemben dinamikus frissítés lehetséges: minden egyes token generálásának lépésénél a modell újra elvégezhet keresést, és szükség esetén betölthet egy további szövegrészletet a válasz pontosításához. Mindkét megközelítés hasonlóan magas minőségi szintet mutat; a RAG-Sequence egyszerűbb és gyorsabb, míg a RAG-Token elméletileg lehetővé teszi, hogy hosszú válaszoknál több különféle információt vegyen figyelembe.

A RAG előnyei

• Aktualitás és tényszerű pontosság. A külső adatok csatlakoztatása lehetővé teszi az LLM számára, hogy pontosabb és megalapozottabb válaszokat adjon, valódi tényekre támaszkodva, nem csupán a modell paramétereire. Ez lényegesen csökkenti az elavult vagy egyszerűen kitalált információ kockázatát a modell válaszában. A rögzített „tudásmetszeti vonallal" rendelkező modellekkel ellentétben a RAG még a modell tanítása után felmerült eseményekkel vagy tényekkel kapcsolatos kérdésekre is képes válaszolni — a friss adatforrásokhoz való hozzáférés révén.
• Átláthatóság és felhasználói bizalom. A RAG-rendszerek képesek forrásokra mutató hivatkozásokat megadni (például cikkekre, jelentésekre vagy adatbázisokra), amelyek a válasz alapjául szolgáltak. Lényegében a modell tudományos munkához hasonlóan, lábjegyzetekkel fogalmazza meg válaszait, ami lehetővé teszi az egyes tények hitelességének ellenőrzését. A hivatkozott elsődleges források léte növeli a felhasználók bizalmát, és megkönnyíti a kapott információk verifikációját.
• Szakterületi specializáció. A retrieval-augmentation viszonylag könnyen lehetővé teszi a modell működésének egy szűk tudományterülethez való adaptálását, anélkül, hogy magát a nyelvi modellt megváltoztatnánk. Ehhez elegendő az LLM-et a szükséges tematikájú speciális tudásbázissal ellátni — legyen az orvosi cikkek, jogi dokumentumok vagy a vállalat műszaki kézikönyvei. A modell, miközben paramétereiben általános marad, az adott területen szakértőként lép fel, mivel a kiválasztott datasetből meríti a tényeket. Például egy RAG alapú jogi asszisztens egyetlen joghatósági korpuszra (egy adott ország törvényeire) korlátozhatja a keresési területet, garantálva, hogy a válaszok kizárólag erre a jogrendszerre vonatkozzanak.
• Rugalmasság és tudás frissíthetősége. A klasszikus modelleknél új ismeretek hozzáadásához vagy téves tények javításához bővített dataseten történő újratanítást (fine-tuning) kellett végezni, ami időigényes és erőforrás-igényes. A RAG megoldja ezt a problémát: a modell tudásának frissítéséhez elegendő a külső adatbázist frissíteni vagy további forrásokat csatlakoztatni, és a modell azonnal elkezdi az új információt felhasználni. Ez lehetővé teszi a rendszer aktualitásának egyszerű fenntartását — az adatokat „menet közben" akár valós időben is ki lehet cserélni a modell működésének megszakítása nélkül.
• Hatékonyság és erőforrás-megtakarítás. A RAG-megközelítés gyakran praktikusabbnak bizonyul, mint az összes információt a paramétereiben tárolni próbáló rendkívül nagy modellek tanítása. A keresés integrálásával mérsékelt méretű modellel hasonló eredmények érhetők el, anélkül, hogy az abszolút összes tényt a neurális hálózatban kellene memorizálni. Emellett a RAG-pipeline bevezetése viszonylag egyszerű: léteznek kész eszközök (frameworkök, könyvtárak), és a fejlesztők megmutatják, hogy az alapvető RAG prototípus szó szerint néhány sor kóddal összerakható. Így a RAG csökkenti az MI bevezetésének összköltsége: minden feladathoz új modellt tanítani helyett elegendő a keresési mechanizmust beállítani és megfelelő adatokat biztosítani.

A RAG problémái és korlátai

Nyilvánvaló előnyei ellenére a Retrieval-Augmented Generation örökli a keresési komponensek és maguk a nyelvi modellek korlátait is. Az alábbiakban felsoroljuk a RAG-rendszerekre jellemző legfontosabb problémákat:

• Függőség a keresés minőségétől. A kapott válasz pontosan olyan mértékben lesz helyes, amilyen mértékben relevánsak és megbízhatóak a kinyert adatok. Ha a keresési modul a kérdéshez nem kapcsolódó vagy hibákat tartalmazó dokumentumokat ad vissza, a generatív modell nem tudja „kijavítani" ezeket a tényeket — ezek alapján generálja a választ. Így a külső tudásbázis minősége és aktualitása közvetlenül meghatározza a RAG pontosságát. Rendszeresen frissíteni kell az indexet és beállítani a rangsorolási algoritmusokat, hogy a dokumentumok kiadása releváns maradjon.
• Magas komplexitás és erőforrás-igényesség. A RAG-rendszer működéséhez nemcsak maga az LLM szükséges, hanem a keresési infrastruktúra is: nagy adatbázis tárolása és frissítése, indexelés, a lekérdezés végrehajtásának ideje. Mindez növeli a számítási költségeket, és csökkentheti a válasz sebességét a csak nyelvi modellhez képest. A legrosszabb esetben a keresési szakasz késedelmei vagy nagyon nagy mennyiségű adat feldolgozása lassítja a rendszert. A gyakorlatban egyensúlyt kell teremteni a válasz minősége és a teljesítmény között, optimalizálva a pipeline-t (például korlátozva a tudásbázis méretét vagy a keresési mélységet, hogy a válaszidő a normális határon belül maradjon).
• Adatokkal és karbantartással kapcsolatos követelmények. A RAG hatékony működéséhez minőségi, strukturált és hozzáférhető külső adatok szükségesek. A keresési modell nehézségekbe ütközhet a hasznos információ megtalálásában, ha a külső tudásbázis gyengén szervezett vagy zajt tartalmaz. Emellett a szükséges adatok nem mindig nyilvánosak vagy olcsóak: a vállalatoknak saját knowledge base-t kell létrehozniuk és karbantartaniuk. Ez további kiadásokat teremt, és erőfeszítéseket igényel az adatok naprakészen tartásához (például új dokumentumok hozzáadása, elavult információk törlése). A RAG gyenge pontja a tudásbázis aktuális állapotban való karbantartásától való függőség.
• Bizonyos LLM-hibák kiküszöbölhetetlensége. Bár a RAG jelentősen csökkenti a konfabulációk számát, a helytelen válaszokat nem mindig lehet teljesen kizárni. A generatív modell továbbra is logikai hibát követhet el, vagy pontatlanul általánosíthatja az információt, különösen ha a megadott kontextus nem elég teljes vagy ellentmondásos. A RAG lényegében áthelyezi a hibák hangsúlyát: a nyíltan kitalált tények („hallucinációk") helyett gyakrabban fordulnak elő tudásintegrációs hibák — például a modell kihagyhat egy fontos részletet, vagy pontatlanul kapcsolhatja össze a különböző forrásokat. Ezért felelős alkalmazásokban (orvostudomány, jog) a rendszer válaszainak verifikálásához és korrigálásához továbbra is szükséges az emberi közreműködés.

A RAG alkalmazása

A Retrieval-Augmented Generation módszert számos ismeretszerzéssel és -felhasználással kapcsolatos forgatókönyvben alkalmazzák. Az alábbiakban felsoroljuk azokat a fő területeket, ahol a RAG a legtöbb hasznot mutatja:

• Kérdés-válasz rendszerek és chatbotok. A RAG lehetővé teszi virtuális asszisztensek és chatbotok létrehozását, amelyek nagy pontossággal válaszolnak a felhasználói kérdésekre, és forrásokra mutató hivatkozásokat tudnak megadni. Az ügyfélszolgálat területén az ilyen botok a vállalat belső tudásbázisához fordulnak (GYIK, súgócikkek), és azonnali válaszokat adnak az ügyfelek lekérdezéseire, csökkentve az alkalmazottakra nehezedő terhelést. A klasszikus GYIK-rendszerekkel ellentétben a RAG-botok természetes nyelven fogalmazzák meg a választ, de eközben „alátámasztják" azt a felhasználó problémájára specifikus aktuális adatokkal.
• Orvostudomány és egészségügyi ellátás. A speciális orvosi adatbázissal (tudományos cikkek, klinikai protokollok, kézikönyvek) kiegészített generatív modell intelligens asszisztensként szolgálhat orvosok vagy betegek számára. Például a rendszer képes lesz ritka diagnózisra vonatkozó kérdésre válaszolni, mivel a témával kapcsolatos legfrissebb kutatásokat megkeresi az orvosi irodalomban. A RAG fontos előnye az orvostudományban az elsődleges forrásokra (például klinikai vizsgálatok eredményeire) való hivatkozás lehetősége, ami szükséges az orvosok bizalmának elnyeréséhez. Az ilyen rendszereket döntéstámogatásra, tünetek ellenőrzésére, orvostanhallgatók oktatására stb. alkalmazzák, biztosítva a hozzáférést a legújabb orvosi ismeretekhez.
• Jog és pénzügy. A jogi gyakorlatban és a pénzügyi elemzésben különösen kritikus az információ pontossága és ellenőrizhetősége. A RAG-rendszerek segíthetnek a szakembereknek gyorsan megtalálni a szükséges adatokat: például az ügyvéd a modell segítségével megtalálja és idézi az aktuális ügyre vonatkozó precedens bírói döntést vagy törvényi szakaszt, a pénzügyi elemző pedig gyorsan hozzájut a friss gazdasági jelentések vagy piaci hírek kivonataihoz. Emellett a modell minden válasza konkrét dokumentumokra mutató hivatkozásokat (jogszabályok, jelentések, cikkek) tartalmazhat, ami megfelel az iparági szabványoknak, és megkönnyíti a szakember ezt követő kézi munkáját.
• Tudományos kutatás és tartalomkészítés. Az újságírók, kutatók és írók a RAG-ot felhasználhatják az anyagok előkészítésekor a tények és források felkutatásának felgyorsítására. Például a modell lekérdezésre képes „összegyűjteni" az információt több megbízható publikációból, és ezzel jelentősen csökkenteni a tényellenőrzés és az idézetek kiválasztásának idejét. A RAG alapú kutatási asszisztensek automatikusan kinyerik a releváns munkákra mutató hivatkozásokat, nyílt adatbázisokból (például nemzetközi jelentések statisztikáiból) és akár vázlatos fordításokat is, lehetővé téve a szerzők számára, hogy a munka analitikai részére koncentráljanak. Az ilyen eszközök alkalmazást találnak a médiában, az akadémiai körökben, irodalmi összefoglalók készítésekor stb.
• Vállalati tudás és dokumentumkeresés. Sok szervezetben jelentős mennyiségű értékes információ szöveges dokumentumok formájában tárolódik: szabályzatok, kézikönyvek, jelentések, levelezések, naplófájlok. A RAG módszert nyújt az ilyen strukturálatlan adatokon való interaktív, természetes nyelvű keresésre. Egy alkalmazott feltehet egy kérdést ("Mit mond a távoli munkavállalók szabadságpolitikájáról?") — és a modell megtalálja a belső dokumentum megfelelő szakaszát, idézi azt, és összefoglaló választ ad. Ez növeli a munka hatékonyságát: az új alkalmazottak gyorsabban találnak választ kérdéseikre, a támogatási osztályok eszközt kapnak az incidensadatbázisban való gyors kereséshez, a vezetés pedig módot a felhalmozott szöveges adatok elemzésére. A nagy IT-vállalatok már bevezetik a RAG-megközelítést vállalati megoldásaikba: a Microsoft, Google, IBM, AWS és mások technológiái az LLM-eket a szervezetek adatain végzett kereséssel integrálják.

Perspektívák és további kutatások

A Retrieval-Augmented Generation módszer aktívan fejlődik, és a következő években képességeinek további bővítése várható. Az egyik irány a multimodális RAG, ahol külső információként nemcsak szövegek, hanem képek, hang/videó vagy akár érzékelőkből származó adatok is szerepelhetnek. A kísérletek megmutatják a nyelvi modellek vizuális adatbázisokban való kereséssel való kombinálásának perspektivikusságát, ami lehetővé teszi például a képek vagy videók tartalmával kapcsolatos kérdések megválaszolását a leírások és kapcsolódó szövegek alapján. Egy másik fontos irány — több tudásforrás egyidejű használata: a jövőbeli RAG-rendszerek képesek lesznek különböző adatbázisokból (például Wikipédia, speciális enciklopédiák, felhasználó személyes feljegyzései) adatokat kombinálni, és az összes eltérő jellegű információt figyelembe véve szintetizálni a válaszokat.

A kutatók előtt áll a RAG megbízhatóságának és biztonságának növelése is. Minimalizálni kell a külső adatokban esetleg található előítéletek és hibák terjesztésének kockázatát, valamint garantálni kell a válaszok konzisztenciáját. Az eredeti RAG fejlesztőcsapata már tett lépéseket ebbe az irányba — például az eredeti tudásbázist kizárólag Wikipedia-cikkekre korlátozva, mint viszonylag ellenőrzött és semleges forrásra. A jövőben tervezett speciális szűrők és dokumentumkiválasztási módszerek létrehozása, hogy a modell garantáltan minőségi kontextust kapjon. Emellett a kutatások az önálló keresési mechanizmus fejlesztésére koncentrálnak: új rangsorolási és szemantikus indexelési algoritmusokat fejlesztenek, amelyek pontosabban képesek értelmezni a lekérdezéseket, és releváns információt találni még összetett vagy homályos megfogalmazásoknál is.

Végül érdekfeszítőnek tűnik a RAG mélyebb integrációja a nyelvi modellek tanítási folyamatával. Már megjelennek olyan megközelítések, amelyekben a retrieval-mechanizmusokat nemcsak a következtetés szakaszában, hanem az LLM-ek előzetes tanítása vagy finomhangolása során is alkalmazzák. Ez tovább növelheti a modellek tényszerűségét, és csökkentheti a statikusan a súlyokba írt ismeretektől való függőségüket. A 2024-ben közzétett áttekintések szerint a közösség nagy perspektívát lát a RAG ökoszisztémájának fejlesztésében: az infrastruktúra optimalizálásától (keresés felgyorsítása, memóriaköltségek csökkentése) a RAG-rendszerek minőségértékelésére szolgáló szabványos benchmarkok létrehozásáig. Mindez arra irányul, hogy a generatív modellek pontosabbak, sokoldalúbbak és biztonságosabbak legyenek a folyamatosan frissülő külső tudással való munka során, ami kulcsfontosságú lépés a következő generáció megbízható mesterséges intelligenciájának útján.

Hivatkozások

• Mi a Retrieval-Augmented Generation (RAG) — NVIDIA blog
• Retrieval-Augmented Generation for Large Language Models: A Survey — tudományos áttekintés az arXiv-on
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — a RAG eredeti cikke
• Mi a RAG? Alkalmazás, korlátok és kihívások — Bright Data blog

Irodalom

• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Karpukhin, V. et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. arXiv:2004.04906.
• Guu, K. et al. (2020). REALM: Retrieval-Augmented Language Model Pre-Training. arXiv:2002.08909.
• Qu, Y. et al. (2020). RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering. arXiv:2010.08191.
• Izacard, G.; Grave, E. (2021). Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. arXiv:2007.01282.
• Borgeaud, S. et al. (2022). Improving Language Models by Retrieving from Trillions of Tokens. arXiv:2112.04426.
• Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
• Mialon, G. et al. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv:2312.10997.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Yang, Z. et al. (2023). Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning. arXiv:2302.04858.
• Barnett, S. et al. (2024). Seven Failure Points When Engineering a Retrieval Augmented Generation System. arXiv:2401.05856.
• Wang, Y. et al. (2024). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Han, H. et al. (2025). Retrieval-Augmented Generation with Graphs (GraphRAG). arXiv:2501.00309.