Meta Prompting (RO)

Meta-prompting (engl. meta-prompting) — este o metodă avansată de prompt engineering, în care modelele lingvistice mari (LLM) sunt utilizate pentru a crea, corecta și optimiza propriile instrucțiuni (prompturi). Spre deosebire de abordările tradiționale, în care omul scrie manual instrucțiuni detaliate, meta-prompting-ul se concentrează pe definirea structurii de rezolvare a problemei și a rolurilor pe care modelul trebuie să le îndeplinească. Cu alte cuvinte, descrie cum să rezolvi problema, și nu ce anume trebuie făcut în fiecare caz concret.

Această abordare permite LLM-urilor să descompună în mod autonom probleme complexe, să rafineze interogările și să își îmbunătățească iterativ răspunsurile, deschizând calea spre crearea unor sisteme de inteligență artificială mai autonome și mai adaptive.

Metode și abordări principale

Termenul „meta-prompting" s-a răspândit în literatura științifică la sfârșitul anului 2023 – începutul anului 2024, când mai multe grupuri de cercetare au prezentat abordări similare pentru gestionarea LLM-urilor.

Metoda „scenariului structural" (Scaffolding)

Una dintre abordările cheie a fost propusă de cercetători de la Universitatea Stanford și OpenAI. În această schemă, denumită scaffolding, același model lingvistic (GPT-4 în experimente) joacă mai multe roluri simultan:

• Dirijor (Conductor): Primește un meta-prompt de nivel înalt și descompune sarcina complexă într-o serie de sub-sarcini mai simple.
• Experți (Experts): „Dirijorul" inițializează mai multe instanțe-„experți" ale sale, fiecare rezolvând o sub-sarcină separată conform unor instrucțiuni special definite.
• Integrare: „Dirijorul" coordonează activitatea „experților" și integrează răspunsurile acestora într-o soluție finală.

Această abordare orchestrată a permis creșterea semnificativă a eficienței rezolvării sarcinilor complexe. De exemplu, în experimente, meta-prompting-ul a depășit interogările obișnuite cu un singur pas cu 17,1% și alte metode avansate cu 15–17% pe seturi de sarcini ce necesită raționament multicomponent (de exemplu, jocul „24", puzzle-uri de șah). Important este că această metodă are un caracter independent de sarcină și funcționează în regim zero-shot (zero-shot), fără a necesita exemple concrete pentru fiecare sarcină nouă.

Abordarea teoretică și șabloanele structurale

În paralel, un grup de cercetători de la Universitatea Tsinghua a propus propria concepție de meta-prompting, mutând accentul de pe conținutul sarcinii pe sintaxa și forma de reprezentare a datelor. Bazându-se pe un model categorial, aceștia au demonstrat că descrierea abstractă a structurii problemei permite modelului să construiască raționamente apropiate ca profunzime de cele umane și să descompună eficient întrebările complexe în pași mai simpli.

Concepte conexe

Ideile meta-prompting-ului se regăsesc și în alte metode:

• Automatic Prompt Engineer (APE): O metodă prin care LLM generează și selectează automat instrucțiuni eficiente pentru sine, evaluându-le după calitatea rezultatelor obținute.
• Self-Refine: O abordare în care modelul își îmbunătățește iterativ răspunsul, analizând critic versiunea anterioară și generând corecții pe baza acestei critici.

Aplicare și avantaje

Meta-prompting-ul a demonstrat o eficiență ridicată în sarcinile ce necesită raționament complex multicomponent, cum ar fi demonstrații matematice, programare și rezolvarea pas cu pas a puzzle-urilor. Principalele avantaje ale metodei:

• Eficiența tokenurilor: Concentrarea pe structura generală a sarcinii în locul enumerării multor exemple reduce volumul promptului. Meta-promptul reprezintă un șablon universal care necesită mai puține tokenuri.
• Stabilitate și imparțialitate: Metoda evită dependența de exemple concrete, ceea ce face modelul mai puțin susceptibil la distorsionarea în favoarea particularităților eșantioanelor de antrenament.
• Adaptare dinamică: Spre deosebire de un prompt static, meta-prompting-ul permite îmbunătățirea iterativă. Modelul poate, pe parcursul rezolvării, să rafineze instrucțiunile, să solicite informații lipsă și să corecteze strategia.
• Generalizare la sarcini noi: Instrucțiunile de nivel înalt se transferă mai ușor la sarcini noi, nevăzute anterior, ceea ce face meta-prompting-ul o formă perfecționată a abordării zero-shot.

Limitări și riscuri

• Costul și complexitatea computațională: Metoda necesită multiple apeluri la model pentru o singură sarcină, ceea ce crește costurile de timp și numărul de cereri API. Implementările actuale funcționează secvențial, ceea ce îngreunează paralelizarea.
• Dependența de capacitățile modelului: Eficiența meta-prompting-ului depinde puternic de calitatea LLM-ului de bază. Cercetările au arătat că GPT-3.5 beneficiază aproape deloc de această metodă, în timp ce pentru GPT-4 și modelele ulterioare avantajul crește vizibil.
• Limitările fundamentale ale LLM-urilor: Meta-prompting-ul nu este un remediu universal. Dacă sarcina depășește limitele cunoștințelor modelului de bază, chiar și un meta-prompt perfect formulat nu garantează un rezultat corect. În astfel de cazuri este necesară fie reantrenarea, fie integrarea cu instrumente externe (de exemplu, căutare pe internet sau un interpretor de cod).

Referințe

• Exemplu de meta-prompting în OpenAI Cookbook
• Descrierea metodei în Prompt Engineering Guide

Bibliografie

• Suzgun, M.; Kalai, A. T. (2024). Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding. arXiv:2401.12954.
• Zhang, Y.; Yuan, Y.; Yao, A. C.-C. (2023). Meta Prompting for AGI Systems. arXiv:2311.11482.
• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Ning, X. et al. (2023). Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation. arXiv:2307.15337.
• Chen, X. et al. (2023). Universal Self-Consistency for Large Language Model Generation. arXiv:2311.17311.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
• Zhou, P. et al. (2024). Self-DISCOVER: Large Language Models Self-Compose Reasoning Structures. arXiv:2402.03620.
• Chen, J. et al. (2024). Thought-Augmented Reasoning with Large Language Models. arXiv:2406.04271.