--- title: "Prompt și context" source: "https://systems-analysis.info/int/Prompt_%C8%99i_context" wiki: "systems-analysis.info/int" article: "Prompt_și_context" language: "ro" categories: - "Category:Large language models" - "Category:Machine learning" - "Category:Prompt engineering" - "Category:Romanian" revision_id: 6028 wiki_created_at: 2026-09-06T23:57:21Z wiki_modified_at: 2026-09-06T23:57:21Z downloaded_at: 2026-09-07T23:11:37Z --- # Prompt și context **Prompt-ul** și **contextul** sunt concepte fundamentale în prompt engineering pentru modelele lingvistice de mari dimensiuni (LLM). Contextul este o componentă esențială a prompt-ului, determinând capacitatea LLM de a genera răspunsuri precise, relevante și utile. Prompt engineering-ul eficient constă în mare măsură în arta colectării, filtrării, structurării și prezentării contextului corect către model la momentul potrivit, depășind totodată limitările LLM-urilor moderne. ## Definiția Prompt-ului **Prompt-ul** (engl. *prompt*) — reprezintă setul complet de date de intrare furnizat unui LLM pentru generarea unui răspuns. Nu este doar o întrebare sau o comandă, ci un text structurat care poate include: - **Instrucțiuni:** Indicații directe către model despre ce trebuie făcut, în ce format, stil sau ton. - **Interogarea principală (Query):** Întrebarea directă a utilizatorului sau descrierea sarcinii principale. - **Contextul:** Informații suplimentare necesare pentru executarea corectă a interogării. - **Exemple (Few-shot examples):** Demonstrarea formatului sau stilului de răspuns dorit pe sarcini similare. Calitatea și completitudinea prompt-ului determină direct relevanța, precizia și utilitatea răspunsului LLM. ## Definiția Contextului **Contextul** în cadrul prompt engineering-ului — reprezintă orice informație **din interiorul prompt-ului** care ajută modelul să înțeleagă mai bine sarcina, specificul situației sau așteptările utilizatorului, dar care **nu face parte** din datele de antrenament inițiale ale acestuia. Contextul furnizează detalii situaționale necesare pentru generarea unui răspuns adecvat. Contextul poate include: - Istoricul dialogului anterior (în chatbot-uri). - Date extrase din surse externe (documente, baze de date, pagini web) — baza RAG. - Informații despre utilizator (profil, preferințe). - Detalii specifice ale sarcinii sau situației curente. - Exemple de executare a unor sarcini similare (ca parte a few-shot prompting). Este important să se facă distincția între contextul furnizat în prompt și cunoștințele generale dobândite de model în timpul pre-antrenării sale. Prompt engineering-ul se concentrează pe furnizarea eficientă a contextului **situațional**. ## Interrelație și Influență **Prompt-ul și contextul** – sunt concepte fundamentale în funcționarea transformer-elor, determinând modul în care modelul percepe datele de intrare și pe baza a ce generează rezultatul. Din punct de vedere arhitectural, un transformer nu distinge în mod special „prompt-ul" de „context" – ambele sunt părți ale secvenței de intrare de token-uri, care sunt transformate în embedding-uri, îmbogățite cu informații poziționale și procesate în ansamblu de straturile de self-attention. Prompt-ul și contextul sunt inseparabil legate: **contextul este o componentă constitutivă a prompt-ului**. - **Contextul formează prompt-ul:** Inginerul selectează și structurează contextul relevant pentru a fi inclus în prompt. - **Contextul ghidează modelul:** Informațiile furnizate permit LLM-ului să restrângă spațiul răspunsurilor posibile, să se concentreze pe aspectele relevante și să evite halucinațiile. - **Calitatea contextului determină calitatea răspunsului:** Un context insuficient, irelevant sau contradictoriu conduce la răspunsuri imprecise, generale sau eronate. Un context precis și complet sporește specificitatea și utilitatea generării. - **Influența asupra interpretării instrucțiunilor:** Contextul poate clarifica sau modifica interpretarea instrucțiunilor generale din prompt. Eficacitatea prompt-ului depinde în mare măsură de cât de reușit a putut inginerul să colecteze, să filtreze și să prezinte contextul relevant modelului. ## Tipuri de Context Contextul poate fi clasificat după diferite criterii: **După sursă:** - Furnizat de utilizator: Intrarea explicită a utilizatorului, întrebarea sa sau descrierea sarcinii. - Din istoricul dialogului: Mesajele anterioare ale utilizatorului și ale asistentului (memorie pe termen scurt). - Extras (Retrieved): Date din surse externe (documente, baze de date, web) cu ajutorul RAG. - Din profil/baza de cunoștințe: Informații pe termen lung despre utilizator sau domeniu. - Static/Instructiv: Informații incluse de inginer în șablonul prompt-ului (instrucțiuni, exemple, definirea rolurilor). **După dinamism:** - Context static: Parte invariabilă a prompt-ului (instrucțiuni, definiții, exemple). Definește sarcina generală. - Context dinamic: Informații care se modifică de la o interogare la alta (datele utilizatorului, rezultatele RAG, ora curentă). Furnizează detalii specifice. **După durata de stocare (Memorie):** - Context pe termen scurt: Istoricul sesiunii curente de dialog. - Context pe termen lung: Date salvate despre utilizator sau interacțiunile anterioare, care necesită mecanisme de stocare și recuperare. ## Gestionarea Contextului Gestionarea eficientă a contextului reprezintă o sarcină-cheie în prompt engineering, mai ales în contextul limitărilor ferestrei de context a LLM-urilor. Principalele metode: - **RAG:** Cea mai răspândită metodă pentru lucrul cu volume mari de informații. Permite găsirea dinamică și includerea în prompt doar a celor mai relevante fragmente dintr-o bază de cunoștințe extinsă. Necesită o bază de date vectorială și mecanisme eficiente de căutare (lexicală sau semantică). - **Chunking:** Împărțirea documentelor mari în fragmente semantic corelate sau de dimensiune fixă pentru indexare și recuperare ulterioară prin RAG. - **Sumarizarea:** Comprimarea istoricului lung al dialogului sau a documentelor voluminoase pentru transmiterea sensului principal în fereastra de context limitată. - **Gestionarea Memoriei (Memory Management):** Utilizarea diverselor strategii pentru stocarea și recuperarea istoricului dialogului în chatbot-uri și agenți (de exemplu, ConversationBufferMemory, ConversationSummaryBufferMemory în LangChain). - **Fereastra Glisantă (Sliding Window):** Păstrarea în context doar a ultimelor N mesaje ale dialogului. - **Filtrarea și Prioritizarea:** Selectarea celor mai relevante fragmente de context pe baza importanței lor (de exemplu, prin scoruri de relevanță obținute la căutare) înainte de asamblarea prompt-ului final. ## Rolul Contextului în Prompt Engineering - **Creșterea Relevanței:** Contextul permite modelului să genereze răspunsuri care corespund cu precizie interogării și situației utilizatorului. - **Reducerea Halucinațiilor:** Furnizarea de informații factuale (prin RAG) determină modelul să se bazeze pe acestea, în loc să inventeze fapte. - **Personalizarea:** Contextul despre utilizator (preferințe, istoric) permite adaptarea răspunsurilor. - **Gestionarea Stării:** În dialoguri și procese cu mai mulți pași, contextul (istoricul) asigură continuitatea și conștientizarea de către model a pașilor anteriori. - **Depășirea Limitărilor Cunoștințelor Modelului:** RAG permite modelului să răspundă la întrebări despre evenimente petrecute după antrenarea sa, sau despre date specifice/private. ## Limitări - Limita Ferestrei de Context: În ciuda creșterii până la 1-2 milioane de token-uri la modelele moderne, procesarea unor astfel de volume poate fi costisitoare și lentă. Necesită strategii eficiente de comprimare și selecție (RAG, sumarizare). - Găsirea Contextului Relevant: Eficacitatea RAG depinde de calitatea căutării. Un context extras incorect poate deruta modelul („garbage in – garbage out"). - „Valea Indiferenței" (Valley of Meh): Informațiile aflate la mijlocul unui prompt foarte lung pot fi ignorate de model. Necesită structurarea prompt-ului (de exemplu, „tehnica sandwich"). - Riscul Injecției de Context: Dacă contextul este extras din surse nesigure (de exemplu, pagini web), acesta poate conține instrucțiuni malițioase (prompt injection). ## Bibliografie - Lewis, P. et al. (2020). *Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks*. arXiv:2005.11401. - Wei, J. et al. (2022). *Chain of Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903. - Wang, X. et al. (2022). *Self-Consistency Improves Chain of Thought Reasoning in Language Models*. arXiv:2203.11171. - Kojima, T. et al. (2022). *Large Language Models are Zero-Shot Reasoners*. arXiv:2205.11916. - Chen, S. et al. (2023). *Extending Context Window of Large Language Models via Positional Interpolation*. arXiv:2306.15595. - Schick, T. et al. (2023). *Toolformer: Language Models Can Teach Themselves to Use Tools*. arXiv:2302.04761. - Besta, M. et al. (2023). *Graph of Thoughts: Solving Elaborate Problems with Large Language Models*. arXiv:2308.09687. - Packer, C. et al. (2023). *MemGPT: Towards LLMs as Operating Systems*. arXiv:2310.08560. - Wang, Y. et al. (2023). *Self-Instruct: Aligning Language Models with Self-Generated Instructions*. arXiv:2212.10560. - Sahoo, P. et al. (2024). *A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications*. arXiv:2402.07927. - Kim, S. H. et al. (2024). *Theanine: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation*. arXiv:2406.10996. - Chen, S. et al. (2024). *StruQ: Defending Against Prompt Injection with Structured Queries*. arXiv:2402.06363. - Zhong, M. et al. (2024). *Understanding the RoPE Extensions of Long-Context LLMs: An Attention Perspective*. arXiv:2406.13282. - Han, H. et al. (2025). *Retrieval-Augmented Generation with Graphs (GraphRAG)*. arXiv:2501.00309. - Self-Instruct (2025). *Aligning Language Models with Self-Generated Instructions*. arXiv:2212.10560. ## Vezi și - Modele lingvistice de mari dimensiuni - Fereastra de context - Baze de date vectoriale - LangChain