Meta Prompting (SV)

Meta-promptning (eng. meta-prompting) — är en avancerad metod inom prompt-engineering där stora språkmodeller (LLM) används för att skapa, korrigera och optimera sina egna instruktioner (prompts). Till skillnad från traditionella tillvägagångssätt, där en människa manuellt skriver detaljerade instruktioner, fokuserar meta-promptning på att definiera strukturen för problemlösning och de roller som modellen ska fylla. Med andra ord beskriver den hur man ska lösa en uppgift, snarare än vad man exakt ska göra i varje enskilt fall.

Detta tillvägagångssätt gör det möjligt för LLM att självständigt dekomponera komplexa problem, förfina frågor och iterativt förbättra sina svar, vilket öppnar vägen mot mer autonoma och adaptiva system för artificiell intelligens.

Grundläggande metoder och tillvägagångssätt

Begreppet "meta-promptning" spred sig i den vetenskapliga litteraturen i slutet av 2023 och början av 2024, när flera forskargrupper presenterade liknande tillvägagångssätt för att styra LLM.

Metoden "Scaffolding"

Ett av de viktigaste tillvägagångssätten föreslogs av forskare vid Stanford University och OpenAI. I detta schema, kallat scaffolding, spelar en och samma språkmodell (GPT-4 i experimenten) flera roller samtidigt:

• Dirigent (Conductor): Tar emot en högnivå-metaprompt och delar upp en komplex uppgift i ett antal enklare deluppgifter.
• Experter (Experts): "Dirigenten" initierar flera instanser av sig själv som "experter", där var och en löser en separat deluppgift enligt särskilt angivna instruktioner.
• Integration: "Dirigenten" koordinerar "experternas" arbete och integrerar deras svar till en slutlig lösning.

Detta orkestrerande tillvägagångssätt möjliggjorde en avsevärd ökning av effektiviteten vid lösning av komplexa uppgifter. I experiment överträffade meta-promptning vanliga enstegsförfrågningar med 17,1% och andra avancerade metoder med 15–17% på uppgiftsuppsättningar som kräver flerdimensionella resonemang (till exempel spelet "24", schackpussel). Det är viktigt att notera att denna metod är uppgiftsoberoende och fungerar i zero-shot-läge, utan att kräva specifika exempel för varje ny uppgift.

Teoretiskt tillvägagångssätt och strukturella mallar

Parallellt föreslog en forskargrupp från Tsinghua University sitt eget koncept för meta-promptning, med fokus förflyttat från uppgiftens innehåll till dess syntax och form för datarepresentation. Med stöd av en kategoriell modell visade de att en abstrakt beskrivning av problemets struktur gör det möjligt för modellen att bygga upp resonemang med ett djup som liknar mänskliga, och att effektivt dekomponera komplexa frågor i enklare steg.

Relaterade koncept

Idéerna bakom meta-promptning återspeglas även i andra metoder:

• Automatic Prompt Engineer (APE): En metod där LLM automatiskt genererar och väljer ut effektiva instruktioner för sig själv, genom att utvärdera dem utifrån kvaliteten på de erhållna resultaten.
• Self-Refine: Ett tillvägagångssätt där modellen iterativt förbättrar sitt svar genom att kritiskt analysera den föregående versionen och generera korrigeringar baserade på denna kritik.

Tillämpning och fördelar

Meta-promptning har visat hög effektivitet vid uppgifter som kräver komplex flerdimensionell slutledning, såsom matematiska bevis, programmering och steg-för-steg-lösning av pussel. Metodens viktigaste fördelar:

• Token-effektivitet: Att fokusera på uppgiftens övergripande struktur i stället för att räkna upp mängder av exempel minskar promptens storlek. Meta-prompten utgör en universell mall som kräver färre tokens.
• Stabilitet och opartiskhet: Metoden undviker beroende av specifika exempel, vilket gör modellen mindre benägen att förskjutas mot egenskaperna hos träningsurval.
• Dynamisk anpassning: Till skillnad från en statisk prompt tillåter meta-promptning iterativ förbättring. Modellen kan under lösningens gång förfina instruktioner, begära saknad information och justera strategin.
• Generalisering till nya uppgifter: Högnivåinstruktioner överförs lättare till nya, tidigare osedda uppgifter, vilket gör meta-promptning till en förbättrad form av zero-shot-tillvägagångssättet.

Begränsningar och risker

• Beräkningskostnad och komplexitet: Metoden kräver upprepade anrop till modellen för en och samma uppgift, vilket ökar tids- och API-kostnader. Nuvarande implementeringar fungerar sekventiellt, vilket försvårar parallellisering.
• Beroende av modellens kapacitet: Effektiviteten hos meta-promptning är starkt beroende av kvaliteten på den underliggande LLM. Forskning har visat att GPT-3.5 knappt drar nytta av denna metod, medan fördelen för GPT-4 och senare modeller ökar märkbart.
• Grundläggande begränsningar hos LLM: Meta-promptning är inget universalmedel. Om en uppgift ligger utanför den underliggande modellens kunskaper garanterar inte ens en perfekt formulerad meta-prompt ett korrekt resultat. I sådana fall krävs antingen fine-tuning eller integration med externa verktyg (till exempel internetsökning eller en kodtolk).

Referenser

• Exempel på meta-promptning i OpenAI Cookbook
• Beskrivning av metoden i Prompt Engineering Guide

Litteratur

• Suzgun, M.; Kalai, A. T. (2024). Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding. arXiv:2401.12954.
• Zhang, Y.; Yuan, Y.; Yao, A. C.-C. (2023). Meta Prompting for AGI Systems. arXiv:2311.11482.
• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Ning, X. et al. (2023). Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation. arXiv:2307.15337.
• Chen, X. et al. (2023). Universal Self-Consistency for Large Language Model Generation. arXiv:2311.17311.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
• Zhou, P. et al. (2024). Self-DISCOVER: Large Language Models Self-Compose Reasoning Structures. arXiv:2402.03620.
• Chen, J. et al. (2024). Thought-Augmented Reasoning with Large Language Models. arXiv:2406.04271.