Prompt (language models) (SV)

Prompt (från engelskans prompt — «ledtråd» eller «textförfrågan») i kontexten av stora språkmodeller (LLM) är en inmatningstext eller instruktion som användaren tillhandahåller modellen för att generera ett önskat svar. En prompt formulerar uppgiften för modellen och inkluderar nödvändiga villkor, kontext och exempel. Modellens effektivitet beror till stor del på kvaliteten på den formulerade prompten.

Disciplinen som studerar metoder för utveckling och optimering av textförfrågningar kallas prompt engineering. Dess mål är att erhålla maximalt relevanta, korrekta och säkra svar från AI-modeller. En välformulerad prompt ger modellen en «vägkarta» för att utföra uppgiften och hjälper till att precisera den önskade kontexten och det förväntade resultatet.

Utvecklingens historia

Idén om att styra LLM:ers beteende med hjälp av textledtrådar utvecklades i takt med att modellernas kapacitet ökade.

Tidiga skeden (GPT-2)

Redan 2019 visade forskare vid OpenAI att stora förtränade språkmodeller, som GPT-2, kan lösa nya uppgifter utan ytterligare träning om dessa formuleras som text. Arbetet «Language Models are Unsupervised Multitask Learners» markerade ett principiellt skifte: istället för att finjustera modellen för varje uppgift räckte det att formulera en tydlig instruktion som indata.

Genombrott med GPT-3 och In-Context Learning

Ett verkligt genombrott skedde i samband med lanseringen av modellen GPT-3 år 2020. Med sina 175 miljarder parametrar visade GPT-3 förmågan till kontextuellt lärande (in-context learning) — att lära sig en ny uppgift «i farten» utifrån några exempel som ges direkt i frågetexten. Detta arbetssätt fick namnet few-shot learning («inlärning med några få exempel») och visade att skalning av modellstorleken leder till hög kvalitet på NLP-uppgifter utan någon som helst viktsanpassning.

Framväxten av Chain-of-Thought (CoT)

Vidareutvecklingen år 2022 var kopplad till förbättring av modellernas förmåga till komplex logisk slutledning. Speciella ledtrådar i formatet kedjor av resonemang (chain-of-thought prompting) föreslogs. I sådana prompts får modellen inte bara en fråga utan även ett exempel på stegvist resonemang innan svaret ges. Detta förbättrade märkbart precisionen i aritmetiska och logiska uppgifter. Forskning av Kojima och kollegor visade att modellen kan stimuleras till resonemang även utan exempel (zero-shot), bara genom att lägga till frasen «Låt oss tänka steg för steg» i slutet av förfrågan.

Multimodala prompts

Konceptet med prompts sträckte sig bortom text. År 2022, med framväxten av modellerna DALL-E 2 och Stable Diffusion, blev användarförfrågningar på naturligt språk ett universellt gränssnitt för bildgenerering och senare även för musik och video.

Typer och tekniker för användning av prompts

Det finns flera grundläggande typer och tekniker för prompts som ofta kombineras.

Zero-shot prompting (Direktfråga)

Modellen får endast en instruktion eller fråga utan några exempel. I detta läge förlitar sig LLM på sina allmänna kunskaper från förträningen. Lämpar sig för enkla uppgifter som översättning eller sammanfattning av text.

Few-shot prompting (Inlärning med exempel)

Utöver instruktionen inkluderas ett eller flera exempel med indata och förväntade utdata i prompten. Modellen «lär sig i farten» av dessa prover och tillämpar den inlärda logiken på den nya förfrågan. Denna metod, som implementerar in-context learning, förbättrar avsevärt precisionen på uppgifter där ett visst format eller svarsstil är viktigt.

Resonemangskedia (Chain-of-Thought, CoT)

En speciell typ av prompt för uppgifter som kräver komplex slutledning (matematik, logik). Ledtråden inkluderar en stegvis genomgång eller lösningsplan före det slutliga svaret. Detta tvingar modellen att explicit strukturera resonemangsprocessen, vilket avsevärt förbättrar resultatkvaliteten.

Prompt Tuning (Anpassning av ledtrådar)

En teknik där en automatiskt optimerad ledtråd används istället för manuellt skrivna prompts. Prompten representeras som en uppsättning speciella träningsbara tokens (en kontinuerlig vektor) som läggs till användarens förfrågan. Genom att träna enbart denna lilla vektorprompt kan man anpassa en stor «fryst» modell till en ny uppgift med minimala beräkningskostnader.

Prompt engineering som disciplin

Professionens framväxt

Ökade möjligheter hos LLM har lett till framväxten av en ny specialisering — prompt engineer. Dessa specialister utvecklar och felsöker textledtrådar för att få AI att bete sig på önskat sätt. Prompt engineers använder kunskaper inom lingvistik, logik och psykologi för att strukturera indata på det mest effektiva sättet. Under 2022–2023 dök de första platsannonserna för denna roll upp, vilket speglar den höga efterfrågan på färdigheter för effektiv interaktion med AI-system.

Professionens framtid och automatisering

Området utvecklas snabbt och dess framtid är föremål för diskussion. Forskning från 2024, till exempel från VMware, visade att AI självt genom iteration och optimering kan hitta effektiva frågeformuleringar som ofta överträffar mänskliga. Detta har gett upphov till åsikten att manuell prompt engineering kan vara ett övergående fenomen och att verktyg för automatisk val av ledtrådar med tiden blir standard. Icke desto mindre är expertis inom prompt engineering fortfarande efterfrågad per 2025.

Användningsområden

• Bearbetning av naturligt språk: Klassiska NLP-uppgifter som automatisk dokumentsammanfattning, maskinöversättning, frågesvar och informationsutvinning.
• Chatbotar och virtuella assistenter: Prompts hjälper till att definiera roll, kommunikationsstil och svarsformat, vilket gör dialogsystem mer konsekventa och användbara.
• Kodgenerering: Modeller som OpenAI Codex kan skriva programkod utifrån en beskrivning på naturligt språk, vilket påskyndar utvecklingen.
• Dataanalys: Med hjälp av prompts kan modellen konfigureras för att utvinna insikter från ostrukturerade textrapporter eller generera hypoteser.
• Utbildning: Skapande av intelligenta handledare som genererar uppgifter, förklarar komplexa koncept och kontrollerar svar med hänsyn till elevens kunskapsnivå.
• Kreativa industrier: Generering av texter, konstnärliga bilder, musik och manus utifrån detaljerade beskrivningar.

Skadlig användning och sårbarheter (Prompt Injection)

Öppenheten hos LLM:ers gränssnitt har lett till framväxten av en ny klass av attacker — injektion av ledtrådar (prompt injection). En angripare formulerar en speciell skadlig förfrågan som får modellen att bryta mot sina ursprungliga instruktioner eller avslöja dold information. Experter betraktar detta som en variant av en kodinjektion, där istället för kod skadliga textinstruktioner «injiceras» i systemet.

Typer av attacker

• Jailbreak: En attack som tillåter modellen att «rymma» från de pålagda begränsningarna (till exempel modereringspolicyn) och generera förbjudet innehåll. Ett känt exempel är DAN-prompten (Do Anything Now), som fick ChatGPT att svara utan censur.
• Prompt Leaking: En speciell förfrågan tvingar modellen att avslöja delar av dess dolda systemprompt.
• Token Smuggling: En skadlig instruktion maskeras som en oskyldig del av förfrågan (till exempel ett kodfragment) för att kringgå filter och provocera fram oönskat beteende.

Dessa attacker utgör ett allvarligt problem eftersom traditionella cybersäkerhetsmetoder är dåligt lämpade för hot som rör tolkning av naturligt språk.

Litteratur

• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Li, X. L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
• Liu, Y. et al. (2021). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv:2104.08786.
• Chang, K. et al. (2024). Efficient Prompting Methods for Large Language Models: A Survey. arXiv:2404.01077.
• Li, Z. et al. (2024). Prompt Compression for Large Language Models: A Survey. arXiv:2410.12388.
• Genkina, D. (2024). AI Prompt Engineering Is Dead. IEEE Spectrum. [5].
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Wu, Z. et al. (2025). The Dark Side of Function Calling: Pathways to Jailbreaking Large Language Models. EMNLP 2025. PDF.