--- title: "Stop sequences (language models) (HE)" source: "https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)" wiki: "systems-analysis.info/int" article: "Stop_sequences_(language_models)_(HE)" language: "he" categories: - "Category:Core LLM concepts" - "Category:Hebrew" - "Category:Large language models" - "Category:Machine learning" revision_id: 6937 wiki_created_at: 2026-09-07T00:13:31Z wiki_modified_at: 2026-09-07T00:13:31Z downloaded_at: 2026-09-07T23:16:31Z --- # Stop sequences (language models) (HE) **Stop Sequence** (*רצף עצירה*) בהקשר של מודלי שפה גדולים (LLM) — הוא רצף מיוחד של תווים או token-ים המאותת למודל על הצורך להפסיק את יצירת הטקסט^{[\[1\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_note-promptitude_def-1)}. מנגנון זה הוא מרכיב חשוב במודלי שפה אוטורגרסיביים, המבטיח סיום מבוקר וצפוי של התגובה. בעת שימוש ב-stop sequence, המודל בכל שלב של היצירה בודק האם הטקסט שנוצר כבר מסתיים באחד מהרצפים הנתונים. אם נמצאת התאמה, התהליך נפסק מיידית, כאשר ה-stop sequence עצמו **אינו נכלל** בפלט הסופי^{[\[2\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_note-openai_api-2)}. הדבר מאפשר למפתח לשלוט במדויק על גבולות התגובה מבלי לשנות את הבקשה עצמה. ## עקרונות פעולה בסיסיים במודלי שפה אוטורגרסיביים, יצירת הטקסט מתבצעת ברציפות, token אחר token. בכל שלב המודל מנבא את ה-token הבא על בסיס כל הרצף הקודם (ה-prompt הקלט והטקסט שנוצר כבר). מבחינה מתמטית, הדבר מתבטא כהסתברות מותנית: $$ P(y_{t} \mid y_{< t},x) $$ כאשר $y_{t}$ — ה-token הנוכחי הנוצר, $y_{< t}$ — רצף ה-token-ים שנוצרו קודם לכן, ו-$x$ — רצף הקלט^{[\[3\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_note-vellum_params-3)}. מנגנון **ה-stop sequence** פועל כקריטריון חיצוני להפסקת תהליך איטרטיבי זה. ## סוגי רצפי עצירה קיימים מספר סוגים עיקריים של מנגנוני עצירה, שניתן להשתמש בהם בנפרד או בשילוב. ### 1. Token-ים של סוף רצף (EOS) **End-of-Sequence (EOS)** — הם token-ים מיוחדים (לדוגמה, \`\<\|endoftext\|\>\`), המוטמעים במילון המודל ומיועדים לסמן את סוף קטע טקסט לוגי. המודל מאומן לייצר את ה-EOS token כאשר הוא רואה את התשובה כשלמה, מאחר שכל הטקסטים במדגם האימון מסתיימים ב-token זה^{[\[4\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_note-gpt3_survey-4)}. עם זיהוי ה-EOS token, היצירה נפסקת אוטומטית. מחקרים מראים כי נוכחות ה-EOS token משפיעה על ארכיטקטורת ה-attention: מודלים מפתחים מנגנונים פנימיים לספירת מיקומים, מה שעם זאת עשוי להגביל את יכולת החיזוי שלהם על רצפים הארוכים משמעותית מדוגמאות האימון^{[\[5\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_note-no_eos_extrapolation-5)}. ### 2. רצפים מותאמים אישית אלה מחרוזות произвольות שהמפתח מגדיר למשימה ספציפית. הן אינן חלק ממילון המודל, אך נעקבות ברמת התווים. דוגמאות כוללות: - **תווי שורה חדשה**: \`\n\` או \`\n\n\` לעצירה לאחר פסקה. - **סמני הקשר**: \`Human:\`, \`User:\` או \`Q:\` להפרדת תורות בדיאלוג. - **סמנים מיוחדים**: \`###\`, \`\\` או \`END\`. ### 3. רצפים מבניים אלה סמנים מתמחים המשמשים לסיום אלמנטים מבניים מסוימים, דבר שהוא קריטי בעת יצירת תוכן מפורמט^{[\[1\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_note-promptitude_def-1)}: - **קוד**: גרשיים הפוכות משולשות (\`\`\`) לסיום בלוק קוד. - **JSON/XML**: סוגריים סוגרים (\`}\`) או תגיות (\`\\`). ## מימוש טכני ובעיות זיהוי יעיל של stop sequence הוא משימה לא טריוויאלית הכרוכה בסדרת קשיים. ### אלגוריתם זיהוי ואופטימיזציה תהליך הזיהוי במערכות אמיתיות כולל: 1. **בדיקה בכל שלב**: לאחר יצירת כל token חדש, המערכת בודקת האם הפלט הנוכחי מסתיים באחד מה-stop sequences הנתונים. 2. **טיפול בהתאמות חלקיות**: המערכת חייבת לעקוב אחר מצבים שבהם חלק מהרצף כבר נוצר, אך עדיין אין התאמה מלאה. 3. **בדיקה רב-קריטריונית**: רוב המערכות (לדוגמה, OpenAI API) מאפשרות לעקוב אחר מספר (עד ארבעה) stop sequences בו-זמנית^{[\[2\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_note-openai_api-2)}. ב-framework של Hugging Face Transformers, לצורך זה מומש מחלקה מופשטת \`StoppingCriteria\`, המאפשרת ליצור קריטריוני עצירה מותאמים אישית, כגון \`MaxLengthCriteria\` (לפי אורך) או \`EosTokenCriteria\` (לפי EOS token)^{[\[4\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_note-gpt3_survey-4)}. ### בעיות ומגבלות - **בעיית tokenization**: זוהי הקושי הטכני העיקרי. אותו רצף תווים (לדוגמה, \`\nUser:\`) עשוי להיות מפוצל ל-token-ים בצורות שונות בהתאם להקשר. הדבר מסבך את הזיהוי האמין, מאחר שה-stop sequence עשוי להיות מחולק בין מספר token-ים^{[\[5\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_note-no_eos_extrapolation-5)}. - **ביצועים**: בדיקת stop sequences ארוכים רבים בכל שלב עשויה להאט את היצירה, במיוחד בעת עבודה עם רצפים ארוכים בזמן אמת. - **זיהוי שגוי**: הרצף הנתון עשוי להופיע באקראי באמצע התשובה הרצויה, מה שיוביל לסיום מוקדם. לפיכך, חשוב לבחור סמנים ייחודיים וספציפיים דיים (לדוגמה, \`\n###\n\`)^{[\[6\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_note-finetune_gpt3-6)}. ## יישומים ותרחישי שימוש Stop sequences הם כלי עוצמתי לניהול התנהגות ה-LLM. - **שליטה באורך ובעלות**: מאפשרים להגביל את הגודל המרבי של התגובה ועל ידי כך לצמצם את צריכת ה-token-ים, דבר שחשוב בעת שימוש ב-API בתשלום. - **מערכות דיאלוג**: משמשים להפרדה ברורה של תורות הדוברים, כדי שמודל העוזר לא ייצור תשובה עבור המשתמש. - **יצירת תוכן מובנה**: הכרחיים לקבלת פלט תקין בפורמטים JSON, XML או בעת כתיבת קוד, תוך מניעת הוספת מידע מיותר לאחר סיום המבנה^{[\[7\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_note-cursor_backticks-7)}. - **מניעת התנהגות בלתי רצויה**: מסייעים להפסיק את היצירה עם הופעת תוכן חוזר או שגוי (הזיות). - **אימון ו-fine-tuning**: במדגמי נתוני אימון נעשה שימוש תכוף בסמנים ייחודיים (לדוגמה, \`###\`) כ-stop sequence, כדי שהמודל ילמד לסיים את התשובה במקום הנכון^{[\[6\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_note-finetune_gpt3-6)}. ## כיווני מחקר עכשוויים - **קריטריוני עצירה אדפטיביים**: פיתוח שיטות הקובעות באופן דינמי את נקודת הסיום על בסיס ההקשר ואיכות הטקסט שנוצר. - **גישות אנטרופיה**: שימוש באנטרופיה של התפלגות ה-token-ים כקריטריון. אנטרופיה גבוהה יכולה להצביע על חוסר ודאות של המודל ולשמש אות להפסקת היצירה. ## קישורים - תיעוד OpenAI לשימוש ב-stop sequences - תיעוד Hugging Face בנושא StoppingCriteria ## ספרות - Sutskever, I.; Vinyals, O.; Le, Q. V. (2014). *Sequence to Sequence Learning with Neural Networks*. arXiv:1409.3215. - Vaswani, A. et al. (2017). *Attention Is All You Need*. arXiv:1706.03762. - Keskar, N. S. et al. (2019). *CTRL: A Conditional Transformer Language Model for Controllable Generation*. arXiv:1909.05858. - Holtzman, A. et al. (2020). *The Curious Case of Neural Text Degeneration*. arXiv:1904.09751. - Brown, T. et al. (2020). *Language Models are Few-Shot Learners*. arXiv:2005.14165. - Zong, M.; Krishnamachari, B. (2022). *A Survey on GPT-3*. arXiv:2212.00857. - Zhao, Y. et al. (2022). *Calibrating Sequence Likelihood Improves Conditional Language Generation*. arXiv:2210.00045. - Hu, J. C.; Cavicchioli, R.; Capotondi, A. (2023). *A Request for Clarity over the End-of-Sequence Token in the Self-Critical Sequence Training*. arXiv:2305.12254. - Zhu, W. et al. (2024). *Improving Open-Ended Text Generation via Adaptive Decoding*. arXiv:2402.18223. - Zhang, H. et al. (2024). *Adaptable Logical Control for Large Language Models*. arXiv:2406.13892. - Suh, Y. J. et al. (2025). *The Curious Case of Sequentially Mis-calibrated Language Models*. arXiv:2205.11916. ## הערות 1. ↑ ^{[1.0](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_ref-promptitude_def_1-0)} ^{[1.1](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_ref-promptitude_def_1-1)} «Stop Sequence: Understanding & Setting It Correctly». *Promptitude.io Help Center*. [1] 2. ↑ ^{[2.0](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_ref-openai_api_2-0)} ^{[2.1](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_ref-openai_api_2-1)} «How do I use stop sequences in the OpenAI API?». *OpenAI Help Center*. [2] 3. [↑](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_ref-vellum_params_3-0) «How to use stop sequences?». *Vellum*. [3] 4. ↑ ^{[4.0](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_ref-gpt3_survey_4-0)} ^{[4.1](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_ref-gpt3_survey_4-1)} Brown, Tom, et al. «A Survey on GPT-3». *arXiv:2212.00857* \[cs.CL\], 1 дек. 2022 г. [4] 5. ↑ ^{[5.0](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_ref-no_eos_extrapolation_5-0)} ^{[5.1](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_ref-no_eos_extrapolation_5-1)} Suh, Y. J., et al. «The Curious Case of Sequentially Mis-calibrated Language Models». *arXiv:2205.11916* \[cs.CL\], 24 мая 2022 г. [5] 6. ↑ ^{[6.0](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_ref-finetune_gpt3_6-0)} ^{[6.1](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_ref-finetune_gpt3_6-1)} Eric, Mihail. «How to Finetune GPT3». *mihaileric.com*. [6] 7. [↑](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HE)#cite_ref-cursor_backticks_7-0) Corin, Daniel. «Way Enough - Cursor Triple Backticks Stop Sequence». *danielcorin.com*. [7]