Meta Prompting (IT)

Meta-prompting (ingl. meta-prompting) — è un metodo avanzato di prompt engineering in cui i grandi modelli linguistici (LLM) vengono utilizzati per creare, correggere e ottimizzare le proprie istruzioni (prompt). A differenza degli approcci tradizionali, in cui una persona scrive manualmente istruzioni dettagliate, il meta-prompting si concentra sulla definizione della struttura di risoluzione del problema e dei ruoli che il modello deve svolgere. In altre parole, descrive come risolvere il problema, e non cosa fare esattamente in ogni caso specifico.

Questo approccio consente agli LLM di scomporre autonomamente problemi complessi, affinare le richieste e migliorare iterativamente le proprie risposte, aprendo la strada alla creazione di sistemi di intelligenza artificiale più autonomi e adattativi.

Metodi e approcci principali

Il termine «meta-prompting» si è diffuso nella letteratura scientifica tra la fine del 2023 e l'inizio del 2024, quando diversi gruppi di ricerca hanno presentato approcci simili per la gestione degli LLM.

Metodo dello «scenario strutturante» (Scaffolding)

Uno degli approcci chiave è stato proposto da ricercatori dell'Università di Stanford e di OpenAI. In questo schema, denominato scaffolding, lo stesso modello linguistico (GPT-4 negli esperimenti) svolge simultaneamente più ruoli:

• Direttore (Conductor): Riceve un meta-prompt di alto livello e suddivide il compito complesso in una serie di sotto-compiti più semplici.
• Esperti (Experts): Il «Direttore» inizializza diversi suoi «esperti» istanziati, ciascuno dei quali risolve un singolo sotto-compito seguendo istruzioni appositamente definite.
• Integrazione: Il «Direttore» coordina il lavoro degli «esperti» e integra le loro risposte nella soluzione finale.

Questo approccio orchestrale ha permesso di aumentare significativamente l'efficacia nella risoluzione di problemi complessi. Ad esempio, negli esperimenti il meta-prompting ha superato le normali richieste in un unico passaggio del 17,1% e altri metodi avanzati del 15–17% su insiemi di problemi che richiedono ragionamenti multi-componente (ad esempio, il gioco del «24», rompicapi agli scacchi). È importante notare che questo metodo è indipendente dal tipo di compito e funziona in modalità zero-shot, senza richiedere esempi specifici per ogni nuovo problema.

Approccio teorico e modelli strutturali

Parallelamente, un gruppo di ricercatori dell'Università di Tsinghua ha proposto una propria concezione del meta-prompting, spostando il focus dal contenuto del problema alla sua sintassi e forma di rappresentazione dei dati. Basandosi su un modello categoriale, hanno dimostrato che la descrizione astratta della struttura del problema consente al modello di costruire ragionamenti paragonabili per profondità a quelli umani e di scomporre efficacemente questioni complesse in passi più semplici.

Concetti correlati

Le idee del meta-prompting si manifestano anche in altri metodi:

• Automatic Prompt Engineer (APE): Un metodo in cui un LLM genera e seleziona automaticamente istruzioni efficaci per se stesso, valutandole in base alla qualità dei risultati ottenuti.
• Self-Refine: Un approccio in cui il modello migliora iterativamente la propria risposta, analizzando criticamente la versione precedente e generando correzioni sulla base di tale critica.

Applicazioni e vantaggi

Il meta-prompting ha dimostrato un'elevata efficacia nei compiti che richiedono ragionamenti complessi e multi-componente, come dimostrazioni matematiche, programmazione e risoluzione passo-passo di rompicapi. I principali vantaggi del metodo sono:

• Efficienza dei token: La concentrazione sulla struttura generale del compito, invece dell'elenco di numerosi esempi, riduce la dimensione del prompt. Il meta-prompt rappresenta un modello universale che richiede meno token.
• Stabilità e imparzialità: Il metodo evita la dipendenza da esempi specifici, rendendo il modello meno soggetto a distorsioni verso particolari caratteristiche dei campioni di addestramento.
• Adattamento dinamico: A differenza di un prompt statico, il meta-prompting consente un miglioramento iterativo. Il modello può affinare le istruzioni nel corso della risoluzione, richiedere informazioni mancanti e correggere la strategia.
• Generalizzazione a nuovi compiti: Le istruzioni di alto livello si trasferiscono più facilmente a compiti nuovi e mai visti in precedenza, rendendo il meta-prompting una forma avanzata dell'approccio zero-shot.

Limitazioni e rischi

• Costo e complessità computazionale: Il metodo richiede molteplici chiamate al modello per un singolo compito, il che aumenta i costi in termini di tempo e di richieste API. Le implementazioni attuali operano in modo sequenziale, rendendo difficile la parallelizzazione.
• Dipendenza dalle capacità del modello: L'efficacia del meta-prompting dipende fortemente dalla qualità dell'LLM di base. Le ricerche hanno mostrato che GPT-3.5 trae quasi nessun vantaggio da questo metodo, mentre per GPT-4 e i modelli successivi il beneficio aumenta in modo evidente.
• Limitazioni fondamentali degli LLM: Il meta-prompting non è una panacea. Se il compito va oltre le conoscenze del modello di base, anche un meta-prompt formulato perfettamente non garantisce un risultato corretto. In tali casi è necessario o un fine-tuning, o l'integrazione con strumenti esterni (ad esempio, ricerca su internet o interprete di codice).

Riferimenti

• Esempio di meta-prompting in OpenAI Cookbook
• Descrizione del metodo nella Prompt Engineering Guide

Bibliografia

• Suzgun, M.; Kalai, A. T. (2024). Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding. arXiv:2401.12954.
• Zhang, Y.; Yuan, Y.; Yao, A. C.-C. (2023). Meta Prompting for AGI Systems. arXiv:2311.11482.
• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Ning, X. et al. (2023). Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation. arXiv:2307.15337.
• Chen, X. et al. (2023). Universal Self-Consistency for Large Language Model Generation. arXiv:2311.17311.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
• Zhou, P. et al. (2024). Self-DISCOVER: Large Language Models Self-Compose Reasoning Structures. arXiv:2402.03620.
• Chen, J. et al. (2024). Thought-Augmented Reasoning with Large Language Models. arXiv:2406.04271.