Prompt (language models) (HE)

פרומפט (מאנגלית prompt — «רמז» או «בקשת טקסט») בהקשר של מודלי שפה גדולים (LLM) — הוא טקסט קלט או הוראה שהמשתמש מספק למודל לצורך יצירת התגובה הנדרשת. הפרומפט מנסח את המשימה עבור המודל, כולל התנאים הנדרשים, ההקשר והדוגמאות. האפקטיביות של עבודת המודל תלויה במידה רבה באיכות הפרומפט שנוסח.

הדיסציפלינה החוקרת שיטות לפיתוח ואופטימיזציה של בקשות טקסט נקראת prompt engineering (הנדסת פרומפטים). מטרתה — קבלת תגובות רלוונטיות, מדויקות ובטוחות ככל האפשר ממודלי AI. פרומפט שנוסח כהלכה מגדיר למודל «מסלול» לביצוע המשימה, ומסייע להבהיר את ההקשר הנדרש ואת התוצאה הרצויה.

היסטוריית התפתחות הגישה

הרעיון של שליטה בהתנהגות LLM באמצעות הנחיות טקסטואליות התפתח במקביל לגידול ביכולות המודלים עצמם.

שלבים מוקדמים (GPT-2)

כבר בשנת 2019 הדגימו חוקרי OpenAI כי מודלי שפה גדולים מאומנים-מראש, כגון GPT-2, מסוגלים לפתור משימות חדשות ללא אימון נוסף, אם מנסחים אותן בצורת טקסט. המאמר «Language Models are Unsupervised Multitask Learners» סימן שינוי עקרוני: במקום כוונון עדין של המודל לכל משימה בנפרד, הספיק לנסח עבורו הוראה ברורה בקלט.

פריצת דרך עם GPT-3 ו-In-Context Learning

פריצת דרך של ממש התרחשה עם פרסום מודל GPT-3 בשנת 2020. עם 175 מיליארד פרמטרים, הדגים GPT-3 יכולת למידה קונטקסטואלית (in-context learning) — קליטת משימה חדשה «תוך כדי תנועה» מתוך מספר דוגמאות שסופקו ישירות בטקסט הבקשה. מצב עבודה זה קיבל את השם few-shot learning («למידה עם מספר דוגמאות») והראה כי הגדלת גודל המודל מביאה לאיכות גבוהה בביצוע משימות NLP ללא כל כוונון עדין של המשקולות.

הופעת Chain-of-Thought (CoT)

התפתחות נוספת בשנת 2022 קשורה לשיפור יכולת המודלים להיסק לוגי מורכב. הוצעו הנחיות מיוחדות בפורמט של שרשרת היסק (chain-of-thought prompting). בפרומפטים כאלה המודל מקבל לא רק שאלה, אלא גם דוגמה להיסק עקבי וצעד-אחר-צעד לפני התשובה. הדבר שיפר משמעותית את דיוק הפתרונות במשימות חשבוניות ולוגיות. מחקרו של Kojima ועמיתיו הראה שניתן לעודד את המודל להסיק גם ללא דוגמאות (zero-shot), פשוט על ידי הוספת המשפט «בוא נחשוב צעד אחר צעד» בסוף הבקשה.

פרומפטים מולטימודליים

המושג של פרומפטים יצא מגדר הטקסט. בשנת 2022, עם הופעת מודלים כגון DALL-E 2 ו-Stable Diffusion, הפכו בקשות משתמש בשפה טבעית לממשק אוניברסלי ליצירת תמונות, ובהמשך — מוזיקה וסרטונים.

סוגים וטכניקות שימוש בפרומפטים

קיימים מספר סוגים וטכניקות עיקריים של פרומפטים, המשולבים לעיתים קרובות.

Zero-shot prompting (בקשה ישירה)

המודל מקבל רק הוראה או שאלה ללא כל דוגמאות. במצב זה ה-LLM נסמך על הידע הכללי שלו שנרכש באימון המקדים. מתאים למשימות פשוטות כגון תרגום או סיכום טקסט.

Few-shot prompting (למידה מדוגמאות)

מלבד ההוראה, הפרומפט כולל דוגמה אחת או יותר עם קלטים ופלטים צפויים. המודל «לומד תוך כדי תנועה» מדוגמאות אלה ומיישם את ההיגיון שקלט על בקשה חדשה. שיטה זו, המממשת in-context learning, משפרת משמעותית את הדיוק במשימות שבהן חשובים פורמט או סגנון מסוים של תגובה.

שרשרת היסק (Chain-of-Thought, CoT)

סוג מיוחד של פרומפט למשימות הדורשות היסק מורכב (מתמטיקה, לוגיקה). ההנחיה כוללת פירוק צעד-אחר-צעד או תוכנית פתרון לפני התשובה הסופית. הדבר מאלץ את המודל לבנות את תהליך ההיסק באופן מפורש, מה שמשפר משמעותית את איכות התוצאה.

Prompt Tuning (כוונון הנחיות)

טכניקה שבה במקום כתיבת פרומפט ידנית משתמשים בהנחיה שעברה אופטימיזציה אוטומטית. הפרומפט מיוצג כקבוצת טוקנים מיוחדים הניתנים לאימון (וקטור רציף), שמצורפת לבקשת המשתמש. על ידי אימון של וקטור-פרומפט קטן זה בלבד, ניתן להתאים מודל גדול «קפוא» למשימה חדשה עם עלויות חישוביות מינימליות.

Prompt Engineering כדיסציפלינה

הופעת המקצוע

גידול ביכולות LLM הוביל להופעת התמחות חדשה — מהנדס פרומפטים. מומחים אלה מפתחים ומאתרים שגיאות בהנחיות טקסטואליות לצורך קבלת התנהגות רצויה מה-AI. מהנדסי פרומפטים משתמשים בידע בתחום הלשון, הלוגיקה והפסיכולוגיה כדי לבנות את נתוני הקלט בצורה היעילה ביותר. בשנים 2022–2023 הופיעו המשרות הראשונות לתפקיד זה, המשקפות ביקוש גבוה למיומנויות של אינטראקציה יעילה עם מערכות AI.

עתיד המקצוע והאוטומציה

התחום מתפתח במהירות, ועתידו הוא נושא לדיון. מחקרים משנת 2024, כגון אלה של VMware, הראו כי ה-AI עצמו מסוגל, באמצעות חיפוש ואופטימיזציה, למצוא ניסוחים יעילים של בקשות, שלעיתים עולים על אלה שנוסחו על ידי בני אדם. הדבר עורר את הדעה כי prompt engineering ידני עשוי להיות תופעה זמנית, ועם הזמן יהפכו כלים לבחירה אוטומטית של הנחיות לתקן המקובל. עם זאת, נכון לשנת 2025, המומחיות בתחום prompt engineering נותרת מבוקשת.

תחומי יישום

• עיבוד שפה טבעית: משימות NLP קלאסיות כגון סיכום מסמכים אוטומטי, תרגום מכונה, מענה לשאלות וחילוץ מידע.
• צ'אטבוטים ועוזרים וירטואליים: פרומפטים מסייעים להגדיר תפקיד, סגנון תקשורת ופורמט תגובות, מה שהופך מערכות דיאלוג לעקביות ושימושיות יותר.
• יצירת קוד: מודלים כגון OpenAI Codex מסוגלים לכתוב קוד תוכנה לפי תיאור בשפה טבעית, מה שמאיץ את הפיתוח.
• ניתוח נתונים: באמצעות פרומפטים ניתן לכוון את המודל לחילוץ תובנות מדוחות טקסטואליים לא מובנים או ליצירת השערות.
• חינוך: יצירת חונכים אינטליגנטיים המייצרים תרגילים, מסבירים מושגים מורכבים ובודקים תשובות בהתאם לרמת הכנת הלומד.
• תעשיות יצירתיות: יצירת טקסטים, תמונות אמנותיות, מוזיקה ותסריטים לפי תיאור מפורט.

שימוש זדוני ופגיעויות (Prompt Injection)

פתיחות ממשק ה-LLM הובילה להופעת סוג חדש של התקפות — הזרקת הנחיות (prompt injection). התוקף מנסח בקשה זדונית מיוחדת שגורמת למודל להפר את הוראותיו המקוריות או לחשוף מידע סמוי. מומחים רואים בכך סוג של התקפת «הזרקת קוד», שבה במקום קוד «מוזרקות» למערכת הוראות טקסטואליות ערמומיות.

סוגי התקפות

• Jailbreak: התקפה המאפשרת למודל «לצאת» ממסגרת ההגבלות שהוטלו עליו (למשל, מדיניות הגינון) וליצור תוכן אסור. דוגמה ידועה היא DAN-prompt (Do Anything Now), שגרמה ל-ChatGPT לענות ללא צנזורה.
• Prompt Leaking: בקשה מיוחדת מאלצת את המודל לחשוף חלקים מהפרומפט המערכתי הסמוי שלו.
• Token Smuggling: הוראה זדונית מוסווית כחלק תמים לכאורה של הבקשה (למשל, קטע קוד), כדי לעקוף פילטרים ולגרום להתנהגות לא רצויה.

התקפות אלה מהוות בעיה חמורה, שכן שיטות אבטחת סייבר מסורתיות אינן מותאמות לאיומים הקשורים לפרשנות שפה טבעית.

ספרות

• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Li, X. L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
• Liu, Y. et al. (2021). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv:2104.08786.
• Chang, K. et al. (2024). Efficient Prompting Methods for Large Language Models: A Survey. arXiv:2404.01077.
• Li, Z. et al. (2024). Prompt Compression for Large Language Models: A Survey. arXiv:2410.12388.
• Genkina, D. (2024). AI Prompt Engineering Is Dead. IEEE Spectrum. [5].
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Wu, Z. et al. (2025). The Dark Side of Function Calling: Pathways to Jailbreaking Large Language Models. EMNLP 2025. PDF.