Prompt (language models) (RO)

Prompt (din engl. prompt — „sugestie" sau „cerere textuală") în contextul modelelor lingvistice mari (LLM) — este textul de intrare sau instrucțiunea pe care utilizatorul o furnizează modelului pentru a genera răspunsul dorit. Prompt-ul formulează sarcina pentru model, incluzând condițiile necesare, contextul și exemplele. Eficiența modelului depinde în mare măsură de calitatea prompt-ului elaborat.

Disciplina care studiază metodele de dezvoltare și optimizare a cererilor textuale se numește prompt engineering. Scopul său este obținerea din partea modelelor AI a unor răspunsuri cât mai relevante, precise și sigure. Un prompt bine elaborat stabilește pentru model un „traseu" de execuție a sarcinii, ajutând la clarificarea contextului necesar și a rezultatului dorit.

Istoria dezvoltării abordării

Ideea de a controla comportamentul LLM prin intermediul sugestiilor textuale s-a dezvoltat pe măsură ce capacitățile modelelor înseși au crescut.

Etapele timpurii (GPT-2)

Încă din 2019, cercetătorii de la OpenAI au demonstrat că modelele lingvistice mari preantrenate, precum GPT-2, sunt capabile să rezolve sarcini noi fără antrenament suplimentar, dacă acestea sunt formulate sub formă de text. Lucrarea „Language Models are Unsupervised Multitask Learners" a marcat o schimbare de principiu: în loc să antreneze suplimentar modelul pentru fiecare sarcină, a devenit suficient să se formuleze o instrucțiune clară la intrare.

Descoperirea cu GPT-3 și In-Context Learning

O adevărată descoperire a avut loc odată cu lansarea modelului GPT-3 în 2020. Cu 175 de miliarde de parametri, GPT-3 a demonstrat capacitatea de învățare contextuală (in-context learning) — asimilarea unei noi sarcini „din mers" din câteva exemple furnizate direct în textul cererii. Acest mod de funcționare a primit denumirea de few-shot learning („învățare cu câteva exemple") și a arătat că scalarea dimensiunii modelului conduce la o calitate ridicată a execuției sarcinilor NLP fără nicio ajustare suplimentară a ponderilor.

Apariția Chain-of-Thought (CoT)

Dezvoltarea ulterioară din 2022 a fost legată de îmbunătățirea capacității modelelor de a razona logic în mod complex. Au fost propuse sugestii speciale în format de lanț de raționament (chain-of-thought prompting). În astfel de prompt-uri, modelul primește nu doar întrebarea, ci și un exemplu de raționament secvențial, pas cu pas, înainte de răspuns. Aceasta a îmbunătățit semnificativ precizia soluțiilor în problemele aritmetice și logice. Studiul lui Kojima și al colegilor a arătat că modelul poate fi stimulat să raționeze chiar și fără exemple (zero-shot), adăugând pur și simplu la sfârșitul cererii fraza „Să gândim pas cu pas".

Prompt-uri multimodale

Conceptul de prompt a depășit granițele textului. În 2022, odată cu apariția modelelor DALL-E 2 și Stable Diffusion, cererile utilizatorilor în limbaj natural au devenit o interfață universală pentru generarea de imagini, iar mai târziu — de muzică și videoclipuri.

Tipuri și tehnici de utilizare a prompt-urilor

Există mai multe tipuri și tehnici principale de prompt-uri, care sunt adesea combinate.

Zero-shot prompting (Cerere directă)

Modelul primește doar instrucțiunea sau întrebarea fără niciun exemplu. În acest mod, LLM se bazează pe cunoștințele sale generale dobândite în cursul preantrenării. Se potrivește pentru sarcini simple, cum ar fi traducerea sau rezumarea textului.

Few-shot prompting (Învățare pe baza exemplelor)

Pe lângă instrucțiune, în prompt sunt incluse unul sau mai multe exemple cu intrări și ieșiri așteptate. Modelul „învață din mers" din aceste mostre și aplică logica asimilată la noua cerere. Această metodă, care implementează in-context learning, crește semnificativ precizia în sarcinile în care un anumit format sau stil de răspuns este important.

Lanțul de raționament (Chain-of-Thought, CoT)

Un tip special de prompt pentru sarcinile care necesită raționamente complexe (matematică, logică). Sugestia include o defalcare pas cu pas sau un plan de soluționare înainte de răspunsul final. Aceasta determină modelul să structureze explicit procesul de raționament, ceea ce îmbunătățește semnificativ calitatea rezultatului.

Ajustarea sugestiilor (Prompt Tuning)

O tehnică în care, în loc de scrierea manuală a prompt-ului, se utilizează o sugestie optimizată automat. Prompt-ul este reprezentat ca un set de token-uri speciale antrenabile (un vector continuu), care este adăugat la cererea utilizatorului. Antrenând doar acest mic vector-prompt, se poate adapta un model mare „înghețat" la o nouă sarcină cu costuri computaționale minime.

Prompt engineering ca disciplină

Apariția profesiei

Creșterea capacităților LLM a dus la apariția unei noi specializări — inginerul de prompt-uri. Acești specialiști dezvoltă și depanează sugestii textuale pentru a obține comportamentul dorit din partea AI. Inginerii de prompt-uri folosesc cunoștințe din domeniul lingvisticii, logicii și psihologiei pentru a structura datele de intrare în cel mai eficient mod posibil. În 2022–2023 au apărut primele oferte de angajare pentru această funcție, ceea ce reflectă cererea ridicată pentru competențele de interacțiune eficientă cu sistemele AI.

Viitorul profesiei și automatizarea

Domeniul se dezvoltă rapid, iar viitorul său face obiectul unor dezbateri. Studii din 2024, de exemplu, de la VMware, au arătat că însuși AI-ul este capabil, prin iterare și optimizare, să găsească formulări eficiente ale cererilor, depășind adesea pe cele elaborate de oameni. Aceasta a generat opinia că prompt engineering-ul manual ar putea fi un fenomen temporar și că, în timp, instrumentele de selecție automată a sugestiilor vor deveni standard. Cu toate acestea, la nivelul anului 2025, expertiza în domeniul prompt engineering-ului rămâne solicitată.

Domenii de aplicare

• Procesarea limbajului natural: Sarcini clasice NLP, cum ar fi rezumarea automată a documentelor, traducerea automată, răspunsul la întrebări și extragerea de informații.
• Chatbot-uri și asistenți virtuali: Prompt-urile ajută la definirea rolului, stilului de comunicare și formatului răspunsurilor, făcând sistemele de dialog mai consistente și mai utile.
• Generarea de cod: Modele precum OpenAI Codex sunt capabile să scrie cod de program pe baza unei descrieri în limbaj natural, accelerând astfel dezvoltarea.
• Analiza datelor: Cu ajutorul prompt-urilor, se poate configura modelul pentru extragerea de insight-uri din rapoarte text nestructurate sau generarea de ipoteze.
• Educație: Crearea de tutori inteligenți care generează exerciții, explică concepte complexe și verifică răspunsurile ținând cont de nivelul de pregătire al cursantului.
• Industrii creative: Generarea de texte, imagini artistice, muzică și scenarii pe baza unor descrieri detaliate.

Utilizare malițioasă și vulnerabilități (Prompt Injection)

Deschiderea interfeței LLM a dus la apariția unei noi clase de atacuri — injectarea de sugestii (prompt injection). Atacatorul formulează o cerere malițioasă specială care determină modelul să încalce instrucțiunile sale inițiale sau să divulge informații ascunse. Experții consideră aceasta o variantă a atacului de tip „injecție de cod", în care, în loc de cod, instrucțiuni textuale perverse sunt „injectate" în sistem.

Tipuri de atacuri

• Jailbreak: Un atac care permite modelului să „scape" din cadrul restricțiilor impuse (de exemplu, politicile de moderare) și să genereze conținut interzis. Un exemplu cunoscut este DAN-prompt-ul (Do Anything Now), care determina ChatGPT să răspundă fără cenzură.
• Prompt Leaking: O cerere specială determină modelul să divulge fragmente din prompt-ul său de sistem ascuns.
• Token Smuggling: Instrucțiunea malițioasă este deghizată ca o parte inofensivă a cererii (de exemplu, un fragment de cod), pentru a eluda filtrele și a provoca un comportament nedorit.

Aceste atacuri reprezintă o problemă serioasă, deoarece metodele tradiționale de securitate cibernetică sunt slab adaptate pentru amenințările legate de interpretarea limbajului natural.

Literatură

• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Li, X. L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
• Liu, Y. et al. (2021). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv:2104.08786.
• Chang, K. et al. (2024). Efficient Prompting Methods for Large Language Models: A Survey. arXiv:2404.01077.
• Li, Z. et al. (2024). Prompt Compression for Large Language Models: A Survey. arXiv:2410.12388.
• Genkina, D. (2024). AI Prompt Engineering Is Dead. IEEE Spectrum. [5].
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Wu, Z. et al. (2025). The Dark Side of Function Calling: Pathways to Jailbreaking Large Language Models. EMNLP 2025. PDF.