Retrieval-augmented generation (RAG) (NL)

Retrieval-Augmented Generation (RAG) (ned. Generatie aangevuld met zoeken) — dit is een methode op het gebied van kunstmatige intelligentie waarbij een generatief taalmodel (LLM) toegang krijgt tot externe informatiebronnen om de nauwkeurigheid en betrouwbaarheid van antwoorden te verbeteren. Met andere woorden: het model voert vóór het genereren van een antwoord een zoekopdracht naar relevante gegevens uit (bijvoorbeeld in een documentendatabase, op een website of in een databank) en maakt gebruik van de gevonden informatie bij het opstellen van het antwoord. Deze aanpak zorgt voor een 'aanvulling' met kennis uit actuele bronnen en helpt de beperkingen van LLM's zelf te overwinnen, die verband houden met het beperkte 'geheugen' en verouderde informatie. Een RAG-systeem kan in het gegenereerde antwoord verwijzen naar specifieke documenten (bijvoorbeeld in de vorm van voetnoten), wat de transparantie vergroot en de gebruiker in staat stelt feiten te verifiëren. Als gevolg hiervan wordt het risico op hallucinaties verminderd — gevallen waarbij het model met grote zekerheid onjuiste informatie verstrekt. RAG breidt de kennisbasis van LLM's uit tot vrijwel onbeperkte omvang en stelt modellen in staat gebruik te maken van de meest actuele gegevens zonder hertraining.

Oorsprong en ontwikkeling van de methode

Het idee om informatie zoeken te combineren met automatische antwoordgeneratie ontstond lang vóór de komst van moderne LLM's. Al in de jaren 1970 werden pogingen ondernomen om question-answering-systemen te ontwikkelen die antwoorden zochten in tekstdatabases op basis van een gegeven vraag. In de jaren 1990 verscheen de webservice Ask Jeeves, die het zoeken naar antwoorden in natuurlijke taal populariseerde, en in 2011 toonde het IBM Watson-systeem de mogelijkheden van AI door de televisieshow Jeopardy! te winnen van menselijke deelnemers.

De moderne ontwikkelingsfase hangt samen met de introductie van neurale netwerk taalmodellen: Retrieval-Augmented Generation als afzonderlijke aanpak werd in 2020 voorgesteld door een groep onderzoekers van Facebook AI Research, University College London en anderen, onder leiding van Patrick Lewis. In hun werk, dat werd gepresenteerd op NeurIPS 2020, wordt het RAG-model beschreven — een generatief seq2seq-model (zoals BART) met differentieerbare toegang tot een externe 'niet-parametrische' kennisopslag. De auteurs gebruikten de volledige Engelstalige Wikipedia als externe kennisbasis en presenteerden deze als een vectorindex (~21 miljoen tekstfragmenten), waarop gezocht wordt met behulp van het neurale algoritme Dense Passage Retrieval. Voor een inkomende zoekopdracht haalt het RAG-model de meest geschikte fragmenten uit de index op en voegt deze toe aan de context voor het genereren van het antwoord. Dit mechanisme maakte het mogelijk nieuwe recordresultaten (state-of-the-art) te behalen op taken met een open kennisbasis, zoals in de benchmarks Natural Questions, WebQuestions en anderen. Opgemerkt werd dat de antwoorden van het RAG-model specifieker en feitelijk correcter waren dan die van eerdere generatieve benaderingen, dankzij de synthese van informatie uit meerdere bronnen tegelijk. Al snel publiceerde Facebook de broncode van RAG openlijk: het model werd geïntegreerd in de HuggingFace Transformers-bibliotheek en de bijbehorende dataset, zodat ontwikkelaars RAG gemakkelijk in hun projecten konden toepassen. Sinds 2020 heeft de RAG-methode snel aan populariteit gewonnen — naar de woorden van de auteur heeft de aanpak, ondanks de onwelluidende afkorting, een brede verspreiding gevonden, honderden wetenschappelijke publicaties voortgebracht en de basis gevormd voor talloze commerciële diensten.

Werkingsprincipe van RAG

Het principeschema van Retrieval-Augmented Generation: de zoekmodule (links) haalt relevante documenten op uit de kennisbasis, waarna het generatieve model (rechts) een antwoord opstelt op basis van de gebruikersvraag met inachtneming van de gevonden informatie. Deze aanpak stelt LLM's in staat te steunen op actuele externe gegevens bij het genereren van een antwoord. Het diagram toont hoe een gebruikersverzoek wordt omgezet in een vector en gebruikt wordt voor het zoeken naar vergelijkbare tekstfragmenten; vervolgens worden deze gekoppeld aan de context van het model, waardoor de kennis ervan wordt 'uitgebreid' en de nauwkeurigheid van het antwoord wordt vergroot.

Een RAG-systeem bestaat gewoonlijk uit twee hoofdcomponenten: de zoekmodule (retriever) en de antwoordgeneratiemodul (generator). In de voorbereidingsfase wordt een vectorindex van de kennisbasis opgebouwd: alle documenten (teksten) worden opgesplitst in fragmenten en door een embedding-model omgezet in numerieke vectoren, die worden opgeslagen in een gespecialiseerde database voor latere zoekopdrachten. Wanneer een gebruikersverzoek binnenkomt, codeert datzelfde embedding-model het verzoek in een vector; vervolgens wordt gezocht naar dichtstbijzijnde buren in de vectorruimte — er worden top-K meest vergelijkbare fragmenten geselecteerd uit de kennisindex (bijvoorbeeld K = 5). Deze fragmenten worden beschouwd als externe context die waarschijnlijke feiten over het onderwerp van het verzoek bevat.

In de volgende stap wordt de gevormde context gebruikt door het generatieve model. De oorspronkelijke vraag wordt samen met de gevonden tekstfragmenten ingevoerd in een LLM (bijvoorbeeld een seq2seq-transformer of een instructiegericht model) voor het genereren van het uiteindelijke antwoord. Het taalmodel steunt daarmee voorwaardelijk niet alleen op zijn aangeleerde (parametrische) kennis, maar ook op de aangeboden externe gegevens. In de oorspronkelijke implementatie van RAG vervulde het vooraf getrainde model BART de rol van generator, terwijl het externe 'geheugen' werd vertegenwoordigd door de Wikipedia-collectie, geïndexeerd met de DPR-methode.

Fusion-benadering voor kennissamenvoegi

Een belangrijk kenmerk van RAG is de manier waarop het model informatie uit meerdere gevonden documenten combineert. In tegenstelling tot het eenvoudigweg samenvoegen van alle tekst past RAG een aanpak toe die bekend staat als late fusion ('laat samenvoegen van resultaten') — het generatieve model verwerkt elk van de K verkregen fragmenten parallel en genereert daarvoor een hypothetisch antwoord met een betrouwbaarheidsscore, waarna deze varianten worden samengevoegd tot een einduitvoer. Deze methode stelt RAG in staat een antwoord te synthetiseren, zelfs in gevallen waarbij geen enkele afzonderlijke bron een direct en volledig antwoord op de vraag bevat. Als de benodigde informatie bijvoorbeeld verspreid is over verschillende artikelen, kan het model de 'aanwijzingen' uit meerdere documenten combineren tot één antwoord. (Opgemerkt wordt dat het vergroten van het aantal gebruikte documenten doorgaans de volledigheid van het antwoord verhoogt, ten koste van een kleine afname in tekstsamenhang.)

Implementatievarianten

In het oorspronkelijke werk uit 2020 werden twee modificaties van de RAG-architectuur voorgesteld. In de modus RAG-Sequence ontvangt het generatieve model een vaste set gevonden documenten en gebruikt deze voor het genereren van het volledige antwoord in één keer. In de modus RAG-Token daarentegen is dynamische vernieuwing mogelijk: bij elke stap in het genereren van een volgend token kan het model opnieuw zoeken en een extra tekstfragment laden als dat nodig is voor de verduidelijking van het antwoord. Beide benaderingen tonen een vergelijkbaar hoog kwaliteitsniveau; RAG-Sequence is eenvoudiger en sneller, terwijl RAG-Token theoretisch meer uiteenlopende informatie kan verwerken bij lange antwoorden.

Voordelen van RAG

• Actualiteit en feitelijke nauwkeurigheid. Het koppelen van externe gegevens stelt LLM's in staat nauwkeurigere en beter onderbouwde antwoorden te geven, gebaseerd op werkelijke informatie en niet uitsluitend op de modelparameters. Dit vermindert aanzienlijk het risico op verouderde of ronduit verzonnen informatie in het antwoord van het model. In tegenstelling tot modellen met een vaste 'kennisgrens' kan RAG zelfs vragen beantwoorden over gebeurtenissen of feiten die zijn ontstaan na het afronden van de training van het model — dankzij toegang tot actuele gegevensbronnen.
• Transparantie en gebruikersvertrouwen. RAG-systemen zijn in staat verwijzingen te geven naar informatiebronnen (zoals artikelen, rapporten of databases) die de basis voor het antwoord hebben gevormd. In wezen presenteert het model zijn antwoorden zoals een wetenschappelijk werk met voetnoten, waardoor de betrouwbaarheid van elk feit kan worden gecontroleerd. De aanwezigheid van geciteerde primaire bronnen vergroot het vertrouwen van gebruikers en vergemakkelijkt de verificatie van de verkregen informatie.
• Specialisatie voor een vakdomein. Retrieval-augmentation biedt de mogelijkheid om de werking van het model relatief eenvoudig aan te passen aan een smal kennisdomein, zonder het taalmodel zelf te wijzigen. Het volstaat om de LLM te voorzien van een gespecialiseerde kennisbasis over het gewenste onderwerp — of het nu gaat om medische artikelen, juridische documenten of technische handleidingen van een bedrijf. Het model, dat qua parameters algemeen blijft, gaat fungeren als expert op dat gebied, omdat het feiten put uit de samengestelde dataset. Een juridische assistent op basis van RAG kan bijvoorbeeld het zoekgebied beperken tot één jurisdictiecorpus (de wetten van een specifiek land), waardoor gegarandeerd wordt dat de antwoorden overeenstemmen met precies die wetgeving.
• Flexibiliteit en updatbaarheid van kennis. Bij klassieke modellen vereiste het toevoegen van nieuwe kennis of het corrigeren van onjuiste feiten hertraining (fine-tuning) op een uitgebreide dataset, wat kostbaar is in tijd en middelen. RAG lost dit probleem op: om de kennis van het model te updaten volstaat het de externe database bij te werken of aanvullende bronnen te koppelen, waarna het model onmiddellijk gebruik maakt van de nieuwe informatie. Dit maakt het eenvoudig de actualiteit van het systeem te onderhouden — feitelijk kunnen gegevens zelfs in realtime 'warm' worden vervangen zonder onderbreking van de werking van het model.
• Efficiëntie en besparing van middelen. De RAG-aanpak blijkt vaak praktischer dan het trainen van zeer grote modellen die ernaar streven alle informatie in hun parameters op te slaan. Door zoekopdrachten te integreren kunnen vergelijkbare resultaten worden bereikt met een model van matige omvang, zonder te proberen absoluut alle feiten in het neurale netwerk zelf op te slaan. Bovendien is de implementatie van een RAG-pipeline relatief eenvoudig: er zijn kant-en-klare tools (frameworks, bibliotheken) beschikbaar, en ontwikkelaars tonen aan dat een basisprototype van RAG letterlijk in een paar regels code kan worden samengesteld. RAG verlaagt daarmee de totale kosten van AI-implementatie: in plaats van een nieuw model te trainen voor elke taak volstaat het het zoekmechanisme te configureren en geschikte gegevens te verstrekken.

Problemen en beperkingen van RAG

Ondanks de duidelijke voordelen erft Retrieval-Augmented Generation beperkingen van zowel de zoekcomponenten als de taalmodellen zelf. Hieronder worden de belangrijkste problemen beschreven die RAG-systemen kenmerken:

• Afhankelijkheid van de kwaliteit van de zoekopdracht. Het verkregen antwoord is precies zo correct als de relevantie en betrouwbaarheid van de opgehaalde gegevens. Als de zoekmodule documenten retourneert die niet betrekking hebben op de vraag of fouten bevatten, kan het generatieve model die feiten niet 'corrigeren' — het genereert een antwoord op basis daarvan. De kwaliteit en actualiteit van de externe kennisbasis bepalen daarmee direct de nauwkeurigheid van RAG. Regelmatige update van de index en afstemming van de rangschikkingsalgoritmen zijn vereist om de relevantie van de documentoplevering te handhaven.
• Hoge complexiteit en resourcevereisten. Een RAG-systeem vereist voor zijn werking niet alleen het LLM zelf, maar ook infrastructuur voor zoeken: opslag en update van een grote database, indexering, tijd voor het uitvoeren van een zoekopdracht. Dit alles verhoogt de rekenkosten en kan de reactiesnelheid verminderen vergeleken met een taalmodel alleen. In het slechtste geval vertragen vertragingen in de zoekfase of de verwerking van een zeer grote hoeveelheid gegevens het systeem. In de praktijk moet een balans worden gevonden tussen antwoordkwaliteit en prestaties, waarbij de pipeline wordt geoptimaliseerd (door bijvoorbeeld de omvang van de kennisbasis of de zoekdiepte te beperken om de reactietijd binnen aanvaardbare grenzen te houden).
• Vereisten voor gegevens en ondersteuning. Voor een effectieve werking van RAG zijn kwalitatieve, gestructureerde en toegankelijke externe gegevens nodig. Het zoekmodel kan moeite hebben nuttige informatie te vinden als de externe kennisbasis slecht georganiseerd is of ruis bevat. Bovendien zijn de benodigde gegevens lang niet altijd open of goedkoop beschikbaar: bedrijven moeten hun eigen knowledge bases aanmaken en onderhouden. Dit creëert extra kosten en vereist inspanningen voor het actueel houden van gegevens (zoals het toevoegen van nieuwe documenten en het opschonen van verouderde informatie). Het zwakke punt van RAG is de afhankelijkheid van het onderhoud van de kennisbasis in actuele staat.
• Onverwijderbaarheid van sommige LLM-fouten. Hoewel RAG het aantal confabulaties aanzienlijk vermindert, is het niet altijd mogelijk onjuiste antwoorden volledig uit te sluiten. Het generatieve model kan nog steeds een logische fout maken of informatie onjuist samenvatten, vooral als de aangeboden context onvoldoende volledig of tegenstrijdig is. Feitelijk verschuift RAG de nadruk van fouten: in plaats van ronduit verzonnen feiten ('hallucinaties') komen vaker fouten bij de integratie van kennis voor — het model kan bijvoorbeeld een belangrijk fragment overslaan of verschillende bronnen onjuist met elkaar verbinden. Daarom is in verantwoordelijke toepassingen (geneeskunde, recht) nog steeds menselijke betrokkenheid vereist voor de verificatie en correctie van de antwoorden van het systeem.

Toepassingen van RAG

De methode Retrieval-Augmented Generation heeft toepassing gevonden in talloze scenario's die verband houden met het extraheren en gebruiken van kennis. Hieronder worden de voornaamste gebieden beschreven waar RAG de meeste meerwaarde biedt:

• Vraag-en-antwoordsystemen en chatbots. RAG maakt het mogelijk virtuele assistenten en chatbots te ontwikkelen die vragen van gebruikers met hoge nauwkeurigheid beantwoorden en verwijzingen naar bronnen kunnen geven. Op het gebied van klantenondersteuning raadplegen dergelijke bots de interne kennisbasis van het bedrijf (FAQ's, helpdesk-artikelen) en geven onmiddellijk antwoord op verzoeken van klanten, waardoor de werkdruk op medewerkers vermindert. In tegenstelling tot klassieke FAQ-systemen formuleren RAG-bots antwoorden in natuurlijke taal, maar ondersteunen deze tegelijkertijd met actuele gegevens die specifiek zijn voor het probleem van de gebruiker.
• Geneeskunde en gezondheidszorg. Een generatief model aangevuld met een gespecialiseerde medische database (wetenschappelijke artikelen, klinische protocollen, naslagwerken) kan fungeren als intelligente assistent voor arts of patiënt. Het systeem kan bijvoorbeeld een vraag over een zeldzame diagnose beantwoorden door recente onderzoeken over dat onderwerp in de medische literatuur te vinden. Een belangrijk voordeel van RAG in de geneeskunde is de mogelijkheid te verwijzen naar primaire bronnen (zoals resultaten van klinische onderzoeken), wat noodzakelijk is voor het vertrouwen van artsen. Dergelijke systemen worden gebruikt ter ondersteuning van besluitvorming, controle van symptomen, opleiding van geneeskundestudenten, enzovoort, en bieden toegang tot de nieuwste medische kennis.
• Recht en financiën. In de juridische praktijk en financiële analyse is de nauwkeurigheid en verifieerbaarheid van informatie bijzonder kritisch. RAG-systemen kunnen professionals helpen snel de benodigde gegevens te vinden: een advocaat kan met behulp van het model een relevant precedent of wetsartikel vinden en citeren, terwijl een financieel analist snel uittreksels uit recente economische rapporten of marktnieuws kan verkrijgen. Daarbij kan elk antwoord van het model verwijzingen bevatten naar specifieke documenten (wetgeving, rapporten, artikelen), wat overeenkomt met de normen van de sector en het latere handmatige werk van de specialist vergemakkelijkt.
• Wetenschappelijk onderzoek en contentcreatie. Journalisten, onderzoekers en schrijvers kunnen RAG gebruiken om het zoeken naar feiten en bronnen bij de voorbereiding van materiaal te versnellen. Het model kan op verzoek informatie uit meerdere betrouwbare publicaties 'verzamelen' en daarmee de tijd voor factchecking en het selecteren van citaten aanzienlijk verkorten. Onderzoeksassistenten op basis van RAG halen automatisch verwijzingen naar relevante werken op, gegevens uit open databases (zoals statistieken uit internationale rapporten) en zelfs ruwe vertalingen, waardoor auteurs zich kunnen concentreren op het analytische deel van het werk. Dergelijke tools vinden toepassing in de media, de academische wereld, bij de voorbereiding van literatuuroverzichten, enzovoort.
• Bedrijfskennis en documentzoeken. In veel organisaties is een aanzienlijke hoeveelheid waardevolle informatie opgeslagen als tekstdocumenten: reglementen, handleidingen, rapporten, correspondentie, logbestanden. RAG biedt een manier voor interactief zoeken in dergelijke ongestructureerde gegevens via taal. Een medewerker kan een vraag stellen ('Wat staat er over het verlofbeleid voor telewerkers?') — en het model zoekt de betreffende sectie in het interne document, citeert deze en formuleert een samenvattend antwoord. Dit verhoogt de werkefficiëntie: nieuwe medewerkers vinden sneller antwoorden op hun vragen, supportafdelingen krijgen een instrument voor snel zoeken in de incidentendatabase en het management een manier om geaccumuleerde tekstgegevens te analyseren. Grote IT-bedrijven implementeren de RAG-aanpak al in bedrijfsoplossingen: technologieën van Microsoft, Google, IBM, AWS en anderen integreren LLM's met zoeken in organisatiegegevens.

Vooruitzichten en verder onderzoek

De methode Retrieval-Augmented Generation is in actieve ontwikkeling en de komende jaren wordt verdere uitbreiding van de mogelijkheden verwacht. Een van de richtingen is multimodaal RAG, waarbij als externe informatie niet alleen teksten kunnen worden gebruikt, maar ook afbeeldingen, audio/video of zelfs sensorgegevens. Experimenten tonen de veelbelovendheid aan van het combineren van taalmodellen met zoeken in visuele databases, waardoor het bijvoorbeeld mogelijk wordt vragen te beantwoorden over de inhoud van afbeeldingen of video's op basis van beschrijvingen en gerelateerde teksten. Een andere belangrijke richting is het gelijktijdig gebruik van meerdere kennisbronnen: toekomstige RAG-systemen zullen gegevens uit verschillende bases kunnen combineren (zoals Wikipedia, gespecialiseerde encyclopedieën, persoonlijke notities van de gebruiker) en antwoorden synthetiseren met inachtneming van al deze heterogene informatie.

Onderzoekers staan ook voor de taak de betrouwbaarheid en veiligheid van RAG te vergroten. Het is noodzakelijk het risico op verspreiding van vooroordelen en fouten die aanwezig kunnen zijn in externe gegevens te minimaliseren, en de consistentie van antwoorden te garanderen. Het team van ontwikkelaars van het originele RAG heeft al stappen in deze richting ondernomen — door de initiële kennisbasis bijvoorbeeld te beperken tot Wikipedia-artikelen als een relatief betrouwbare en neutrale bron. In de toekomst is het de bedoeling speciale filters en methoden voor documentenselectie te ontwikkelen, zodat het model gegarandeerd kwalitatieve context ontvangt. Bovendien concentreert het onderzoek zich op de verbetering van het zoekmechanisme zelf: er worden nieuwe algoritmen voor rangschikking en semantische indexering ontwikkeld die zoekopdrachten nauwkeuriger kunnen begrijpen en relevante informatie kunnen vinden, zelfs bij complexe of vage formuleringen.

Ten slotte is er interesse in een diepere integratie van RAG met het trainingsproces van taalmodellen. Er verschijnen al benaderingen waarbij retrieval-mechanismen niet alleen worden gebruikt in de inferentiefase, maar ook bij de voorafgaande training of fine-tuning van LLM's. Dit kan de feitelijke nauwkeurigheid van modellen nog verder vergroten en hun afhankelijkheid van statisch in de gewichten opgeslagen kennis verminderen. Volgens overzichten gepubliceerd in 2024 ziet de gemeenschap grote perspectieven in de ontwikkeling van het RAG-ecosysteem: van optimalisatie van de infrastructuur (versnelling van zoekopdrachten, verlaging van geheugenkosten) tot de creatie van standaard benchmarks voor de beoordeling van de kwaliteit van RAG-systemen. Dit alles is bedoeld om generatieve modellen nauwkeuriger, veelzijdiger en veiliger te maken bij het werken met voortdurend bijgewerkte externe kennis, wat een sleutelstap is op weg naar betrouwbare kunstmatige intelligentie van een nieuwe generatie.

Verwijzingen

• Wat is Retrieval-Augmented Generation (RAG) — blog van NVIDIA
• Retrieval-Augmented Generation for Large Language Models: A Survey — wetenschappelijk overzicht op arXiv
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — origineel artikel over RAG
• Wat is RAG? Toepassingen, beperkingen en uitdagingen — blog van Bright Data

Literatuur

• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Karpukhin, V. et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. arXiv:2004.04906.
• Guu, K. et al. (2020). REALM: Retrieval-Augmented Language Model Pre-Training. arXiv:2002.08909.
• Qu, Y. et al. (2020). RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering. arXiv:2010.08191.
• Izacard, G.; Grave, E. (2021). Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. arXiv:2007.01282.
• Borgeaud, S. et al. (2022). Improving Language Models by Retrieving from Trillions of Tokens. arXiv:2112.04426.
• Wei, J. et al. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
• Mialon, G. et al. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv:2312.10997.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Yang, Z. et al. (2023). Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning. arXiv:2302.04858.
• Barnett, S. et al. (2024). Seven Failure Points When Engineering a Retrieval Augmented Generation System. arXiv:2401.05856.
• Wang, Y. et al. (2024). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Han, H. et al. (2025). Retrieval-Augmented Generation with Graphs (GraphRAG). arXiv:2501.00309.