Prompt (language models) (NL)

Prompt (van het Engelse prompt — «aanwijzing» of «tekstverzoek») is in de context van grote taalmodellen (LLM) een invoertekst of instructie die de gebruiker aan het model verstrekt om een gewenst antwoord te genereren. Een prompt formuleert de taak voor het model, inclusief de vereiste voorwaarden, context en voorbeelden. De effectiviteit van het model hangt grotendeels af van de kwaliteit van de opgestelde prompt.

De discipline die methoden voor het ontwikkelen en optimaliseren van tekstverzoeken bestudeert, heet prompt engineering. Het doel ervan is om van AI-modellen zo relevant, nauwkeurig en veilig mogelijke antwoorden te verkrijgen. Een goed opgestelde prompt geeft het model een «route» voor het uitvoeren van een taak en helpt de vereiste context en het gewenste resultaat te verduidelijken.

Geschiedenis van de ontwikkeling van de aanpak

Het idee om het gedrag van LLM's te sturen met behulp van tekstuele aanwijzingen ontwikkelde zich naarmate de mogelijkheden van de modellen zelf groeiden.

Vroege fasen (GPT-2)

Al in 2019 toonden onderzoekers van OpenAI aan dat grote voorgetrainde taalmodellen, zoals GPT-2, nieuwe taken kunnen uitvoeren zonder aanvullende training, mits deze taken als tekst worden geformuleerd. Het artikel «Language Models are Unsupervised Multitask Learners» markeerde een principiële verschuiving: in plaats van het model voor elke taak te verfijnen, volstond het om een begrijpelijke instructie aan de invoer te geven.

Doorbraak met GPT-3 en In-Context Learning

De echte doorbraak vond plaats met de introductie van GPT-3 in 2020. Met 175 miljard parameters toonde GPT-3 de capaciteit voor contextueel leren (in-context learning) — het «on the fly» aanleren van een nieuwe taak uit enkele voorbeelden die direct in de tekst van het verzoek worden gegeven. Deze werkwijze kreeg de naam few-shot learning («leren met enkele voorbeelden») en liet zien dat het opschalen van de modelomvang leidt tot hoge kwaliteit bij NLP-taken zonder enige aanpassing van de gewichten.

Opkomst van Chain-of-Thought (CoT)

De verdere ontwikkeling in 2022 was gericht op het verbeteren van het vermogen van modellen tot complexe logische redenering. Er werden speciale aanwijzingen voorgesteld in het formaat van een redeneringsketen (chain-of-thought prompting). In dergelijke prompts krijgt het model niet alleen een vraag, maar ook een voorbeeld van stapsgewijze, sequentiële redenering vóór het antwoord. Dit verbeterde de nauwkeurigheid van oplossingen bij rekenkundige en logische taken aanzienlijk. Onderzoek van Kojima en collega's toonde aan dat een model zelfs zonder voorbeelden (zero-shot) tot redenering kan worden gestimuleerd, simpelweg door de zin «Laten we stap voor stap nadenken» aan het einde van het verzoek toe te voegen.

Multimodale prompts

Het concept van prompts reikte verder dan tekst. In 2022, met de komst van de modellen DALL-E 2 en Stable Diffusion, werden gebruikersverzoeken in natuurlijke taal een universele interface voor het genereren van afbeeldingen, en later ook van muziek en video.

Soorten en technieken voor het gebruik van prompts

Er zijn verschillende hoofdtypen en technieken voor prompts, die vaak worden gecombineerd.

Zero-shot prompting (Directe vraag)

Het model ontvangt alleen een instructie of vraag zonder enige voorbeelden. In deze modus vertrouwt de LLM op zijn algemene kennis die tijdens de voortraining is opgedaan. Geschikt voor eenvoudige taken, zoals vertaling of het samenvatten van tekst.

Few-shot prompting (Leren met voorbeelden)

Naast de instructie worden één of meerdere voorbeelden met invoer en verwachte uitvoer in de prompt opgenomen. Het model «leert on the fly» van deze voorbeelden en past de aangeleerde logica toe op het nieuwe verzoek. Deze methode, die in-context learning realiseert, verhoogt de nauwkeurigheid aanzienlijk bij taken waarbij een bepaald formaat of een bepaalde stijl van antwoord belangrijk is.

Redeneringsketen (Chain-of-Thought, CoT)

Een speciaal type prompt voor taken die complexe redenering vereisen (wiskunde, logica). De aanwijzing bevat een stapsgewijze uitwerking of oplossingsplan vóór het definitieve antwoord. Dit dwingt het model om het redeneerproces expliciet te structureren, wat de kwaliteit van het resultaat aanzienlijk verbetert.

Aanwijzingsinstellingen (Prompt Tuning)

Een techniek waarbij in plaats van het handmatig schrijven van een prompt een automatisch geoptimaliseerde aanwijzing wordt gebruikt. De prompt wordt weergegeven als een reeks speciale trainbare tokens (een continue vector), die aan het gebruikersverzoek worden toegevoegd. Door alleen deze kleine vector-prompt te trainen, kan een groot «bevroren» model worden aangepast aan een nieuwe taak met minimale rekenkosten.

Prompt engineering als discipline

Opkomst van het beroep

De groeiende mogelijkheden van LLM's hebben geleid tot het ontstaan van een nieuwe specialisatie — de prompt engineer. Deze specialisten ontwikkelen en debuggen tekstuele aanwijzingen om het gewenste gedrag van AI te verkrijgen. Prompt engineers maken gebruik van kennis op het gebied van taalkunde, logica en psychologie om invoergegevens op de meest effectieve manier te structureren. In 2022–2023 verschenen de eerste vacatures voor deze functie, wat wijst op een grote vraag naar vaardigheden voor effectieve interactie met AI-systemen.

Toekomst van het beroep en automatisering

Het vakgebied ontwikkelt zich snel en de toekomst ervan is onderwerp van discussie. Onderzoeken uit 2024, bijvoorbeeld van VMware, toonden aan dat AI zelf via iteratie en optimalisatie effectieve vraagformuleringen kan vinden die vaak die van mensen overtreffen. Dit heeft geleid tot de opvatting dat handmatige prompt engineering een tijdelijk verschijnsel kan zijn, en dat tools voor automatische promptselectie mettertijd standaard zullen worden. Desalniettemin blijft expertise op het gebied van prompt engineering vanaf 2025 gevraagd.

Toepassingsgebieden

• Verwerking van natuurlijke taal: Klassieke NLP-taken, zoals automatische samenvatting van documenten, machinevertaling, het beantwoorden van vragen en het extraheren van informatie.
• Chatbots en virtuele assistenten: Prompts helpen bij het bepalen van een rol, communicatiestijl en antwoordformaat, waardoor dialoogsystemen consistenter en nuttiger worden.
• Codegeneratie: Modellen zoals OpenAI Codex zijn in staat programmacode te schrijven op basis van een beschrijving in natuurlijke taal, wat de ontwikkeling versnelt.
• Data-analyse: Met behulp van prompts kan het model worden ingesteld op het extraheren van inzichten uit ongestructureerde tekstrapporten of het genereren van hypotheses.
• Onderwijs: Het creëren van intelligente tutors die opdrachten genereren, complexe concepten uitleggen en antwoorden controleren rekening houdend met het niveau van de leerling.
• Creatieve industrieën: Het genereren van teksten, artistieke afbeeldingen, muziek en scenario's op basis van een gedetailleerde beschrijving.

Schadelijk gebruik en kwetsbaarheden (Prompt Injection)

De openheid van de LLM-interface heeft geleid tot het ontstaan van een nieuwe klasse aanvallen — injectie van aanwijzingen (prompt injection). Een aanvaller formuleert een speciaal schadelijk verzoek dat het model ertoe aanzet zijn oorspronkelijke instructies te overtreden of verborgen informatie prijs te geven. Experts beschouwen dit als een variant van een code-injectie-aanval, waarbij in plaats van code sluwe tekstinstructies in het systeem worden «ingespoten».

Soorten aanvallen

• Jailbreak: Een aanval waarmee het model «ontsnaapt» uit de opgelegde beperkingen (bijvoorbeeld het moderatiebeleid) en verboden inhoud genereert. Een bekend voorbeeld is de DAN-prompt (Do Anything Now), die ChatGPT ertoe bracht zonder censuur te antwoorden.
• Prompt Leaking: Een speciaal verzoek dwingt het model fragmenten van zijn verborgen systeemprompt prijs te geven.
• Token Smuggling: Een schadelijke instructie wordt vermomd als een onschuldig deel van het verzoek (bijvoorbeeld een codefragment) om filters te omzeilen en ongewenst gedrag uit te lokken.

Deze aanvallen vormen een ernstig probleem, omdat traditionele cyberbeveiligingsmethoden slecht zijn toegerust voor bedreigingen die verband houden met de interpretatie van natuurlijke taal.

Literatuur

• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Li, X. L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
• Liu, Y. et al. (2021). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv:2104.08786.
• Chang, K. et al. (2024). Efficient Prompting Methods for Large Language Models: A Survey. arXiv:2404.01077.
• Li, Z. et al. (2024). Prompt Compression for Large Language Models: A Survey. arXiv:2410.12388.
• Genkina, D. (2024). AI Prompt Engineering Is Dead. IEEE Spectrum. [5].
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Wu, Z. et al. (2025). The Dark Side of Function Calling: Pathways to Jailbreaking Large Language Models. EMNLP 2025. PDF.