--- title: "Stop sequences (language models) (HI)" source: "https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)" wiki: "systems-analysis.info/int" article: "Stop_sequences_(language_models)_(HI)" language: "hi" categories: - "Category:Core LLM concepts" - "Category:Hindi" - "Category:Large language models" - "Category:Machine learning" revision_id: 6938 wiki_created_at: 2026-09-07T00:13:31Z wiki_modified_at: 2026-09-07T00:13:31Z downloaded_at: 2026-09-07T23:16:31Z --- # Stop sequences (language models) (HI) **Stop Sequence** (*स्टॉप अनुक्रम*) बड़े भाषा मॉडलों (LLM) के संदर्भ में एक विशेष वर्ण या token अनुक्रम होता है, जो मॉडल को पाठ उत्पन्न करना बंद करने का संकेत देता है[\[1\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_note-promptitude_def-1)। यह तंत्र ऑटोरिग्रेसिव भाषा मॉडलों का एक महत्त्वपूर्ण घटक है, जो उत्तर की समाप्ति को नियंत्रित और पूर्वानुमानित बनाता है। Stop sequence का उपयोग करते समय मॉडल प्रत्येक उत्पादन चरण पर यह जाँचता है कि क्या अब तक उत्पन्न पाठ किसी निर्धारित अनुक्रम पर समाप्त होता है। यदि मिलान मिल जाता है, तो प्रक्रिया तुरंत रोक दी जाती है, और stop sequence स्वयं **अंतिम आउटपुट में शामिल नहीं होती**[\[2\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_note-openai_api-2)। इससे डेवलपर को अनुरोध में बदलाव किए बिना उत्तर की सीमाओं पर सटीक नियंत्रण मिलता है। ## कार्य के मूल सिद्धांत ऑटोरिग्रेसिव भाषा मॉडलों में पाठ उत्पादन क्रमिक रूप से, एक-एक token करके होता है। प्रत्येक चरण पर मॉडल संपूर्ण पूर्व अनुक्रम (इनपुट prompt और पहले से उत्पन्न पाठ) के आधार पर अगले token का अनुमान लगाता है। गणितीय रूप से इसे सशर्त प्रायिकता के रूप में व्यक्त किया जाता है: $$ P(y_{t} \mid y_{< t},x) $$ जहाँ $y_{t}$ — वर्तमान में उत्पन्न हो रहा token है, $y_{< t}$ — पहले से उत्पन्न tokens का अनुक्रम है, और $x$ — इनपुट अनुक्रम है[\[3\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_note-vellum_params-3)। **Stop sequence** का तंत्र इस पुनरावृत्त प्रक्रिया को बाधित करने के लिए एक बाह्य मानदंड के रूप में कार्य करता है। ## स्टॉप अनुक्रमों के प्रकार रुकने के तंत्र के कई मुख्य प्रकार होते हैं, जिन्हें अलग-अलग या संयोजन में उपयोग किया जा सकता है। ### 1. अनुक्रम-समाप्ति token (EOS) **End-of-Sequence (EOS)** — ये विशेष token होते हैं (जैसे \`\<\|endoftext\|\>\`), जो मॉडल के शब्द-भंडार में अंतर्निहित होते हैं और किसी तार्किक पाठ-खंड के अंत को दर्शाने के लिए बनाए गए हैं। मॉडल को EOS token उत्पन्न करना तब सिखाया जाता है जब वह उत्तर को पूर्ण मानता है, क्योंकि प्रशिक्षण डेटासेट के सभी पाठ इसी token पर समाप्त होते हैं[\[4\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_note-gpt3_survey-4)। EOS token की पहचान होते ही उत्पादन स्वचालित रूप से बंद हो जाता है। शोध बताते हैं कि EOS token की उपस्थिति attention आर्किटेक्चर को प्रभावित करती है: मॉडल आंतरिक स्थिति-गणना तंत्र विकसित कर लेते हैं, जो हालाँकि प्रशिक्षण उदाहरणों की लंबाई से बहुत अधिक लंबे अनुक्रमों पर एक्सट्रापोलेशन की उनकी क्षमता को सीमित कर सकता है[\[5\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_note-no_eos_extrapolation-5)। ### 2. उपयोगकर्ता-परिभाषित अनुक्रम ये मनमानी स्ट्रिंग होती हैं जिन्हें डेवलपर किसी विशेष कार्य के लिए निर्दिष्ट करता है। ये मॉडल के शब्द-भंडार का हिस्सा नहीं होतीं, लेकिन वर्ण-स्तर पर इनकी निगरानी की जाती है। उदाहरणों में शामिल हैं: - **पंक्ति-विराम वर्ण**: \`\n\` या \`\n\n\` — किसी अनुच्छेद के बाद रोकने के लिए। - **संदर्भ मार्कर**: \`Human:\`, \`User:\` या \`Q:\` — संवाद में प्रतिकृतियों को अलग करने के लिए। - **विशेष मार्कर**: \`###\`, \`\\` या \`END\`। ### 3. संरचनात्मक अनुक्रम ये विशेष मार्कर होते हैं जिनका उपयोग कुछ संरचनात्मक तत्वों को पूर्ण करने के लिए किया जाता है, जो स्वरूपित सामग्री के उत्पादन में अत्यंत महत्त्वपूर्ण है[\[1\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_note-promptitude_def-1): - **कोड**: कोड ब्लॉक समाप्त करने के लिए तिहरे बैककोट (\`\`\`)। - **JSON/XML**: बंद करने वाले कोष्ठक (\`}\`) या टैग (\`\\`)। ## तकनीकी कार्यान्वयन और समस्याएँ Stop sequence की प्रभावी पहचान एक जटिल कार्य है जिसमें कई कठिनाइयाँ होती हैं। ### पहचान एल्गोरिदम और अनुकूलन वास्तविक प्रणालियों में पहचान प्रक्रिया में शामिल हैं: 1. **प्रत्येक चरण पर जाँच**: प्रत्येक नए token के उत्पादन के बाद सिस्टम जाँचता है कि क्या वर्तमान आउटपुट किसी निर्धारित stop sequence पर समाप्त होता है। 2. **आंशिक मिलान की प्रक्रिया**: सिस्टम को उन स्थितियों की निगरानी करनी होती है जहाँ अनुक्रम का एक भाग उत्पन्न हो चुका है लेकिन पूर्ण मिलान अभी नहीं मिला। 3. **बहु-मानदंड जाँच**: अधिकांश सिस्टम (जैसे OpenAI API) एक साथ कई (चार तक) stop sequences की निगरानी की अनुमति देते हैं[\[2\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_note-openai_api-2)। Hugging Face Transformers फ्रेमवर्क में इसके लिए \`StoppingCriteria\` नामक एक अमूर्त वर्ग (abstract class) लागू किया गया है, जो \`MaxLengthCriteria\` (लंबाई के आधार पर) या \`EosTokenCriteria\` (EOS token के आधार पर) जैसे कस्टम रुकने के मानदंड बनाने की सुविधा देता है[\[4\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_note-gpt3_survey-4)। ### समस्याएँ और सीमाएँ - **Tokenization की समस्या**: यह मुख्य तकनीकी जटिलता है। एक ही वर्ण अनुक्रम (जैसे \`\nUser:\`) को संदर्भ के आधार पर अलग-अलग तरीके से tokens में विभाजित किया जा सकता है। इससे विश्वसनीय पहचान कठिन हो जाती है क्योंकि stop sequence कई tokens में विभाजित हो सकती है[\[5\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_note-no_eos_extrapolation-5)। - **प्रदर्शन**: प्रत्येक चरण पर कई लंबी stop sequences की जाँच करना उत्पादन को धीमा कर सकता है, विशेषकर वास्तविक समय में लंबे अनुक्रमों के साथ काम करते समय। - **गलत सक्रियण**: निर्धारित अनुक्रम अचानक वांछित उत्तर के बीच में आ सकती है, जिससे समय से पहले समाप्ति हो जाती है। इसलिए पर्याप्त रूप से अद्वितीय और विशिष्ट मार्कर (जैसे \`\n###\n\`) चुनना महत्त्वपूर्ण है[\[6\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_note-finetune_gpt3-6)। ## उपयोग और अनुप्रयोग परिदृश्य Stop sequences LLM के व्यवहार को नियंत्रित करने के लिए एक शक्तिशाली उपकरण हैं। - **लंबाई और लागत नियंत्रण**: ये उत्तर के अधिकतम आकार को सीमित करने और परिणामस्वरूप token की खपत कम करने की अनुमति देते हैं, जो भुगतान-आधारित API के उपयोग में महत्त्वपूर्ण है। - **संवाद प्रणालियाँ**: वार्तालापकर्ताओं की प्रतिकृतियों को स्पष्ट रूप से अलग करने के लिए उपयोग किया जाता है, ताकि सहायक मॉडल उपयोगकर्ता की ओर से उत्तर न उत्पन्न करे। - **संरचित सामग्री का उत्पादन**: JSON, XML स्वरूपों में सही आउटपुट प्राप्त करने या कोड लिखते समय ये अपरिहार्य हैं, क्योंकि ये संरचना समाप्त होने के बाद अतिरिक्त जानकारी जोड़ने से रोकते हैं[\[7\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_note-cursor_backticks-7)। - **अवांछित व्यवहार की रोकथाम**: दोहराई जाने वाली या गलत सामग्री (हेलुसिनेशन) उत्पन्न होने पर उत्पादन बाधित करने में सहायता करते हैं। - **प्रशिक्षण और fine-tuning**: प्रशिक्षण डेटासेट में अक्सर अद्वितीय मार्कर (जैसे \`###\`) stop sequence के रूप में उपयोग किए जाते हैं, ताकि मॉडल सही स्थान पर उत्तर समाप्त करना सीखे[\[6\]](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_note-finetune_gpt3-6)। ## अनुसंधान के आधुनिक दिशाएँ - **अनुकूली रुकने के मानदंड**: ऐसी विधियों का विकास जो संदर्भ और उत्पन्न पाठ की गुणवत्ता के आधार पर गतिशील रूप से समाप्ति बिंदु निर्धारित करती हैं। - **एन्ट्रॉपी-आधारित दृष्टिकोण**: Token वितरण की एन्ट्रॉपी को मानदंड के रूप में उपयोग करना। उच्च एन्ट्रॉपी मॉडल की अनिश्चितता का संकेत दे सकती है और उत्पादन रोकने के लिए संकेत के रूप में काम कर सकती है। ## संदर्भ - Stop sequences के उपयोग पर OpenAI दस्तावेज़ीकरण - StoppingCriteria पर Hugging Face दस्तावेज़ीकरण ## साहित्य - Sutskever, I.; Vinyals, O.; Le, Q. V. (2014). *Sequence to Sequence Learning with Neural Networks*. arXiv:1409.3215. - Vaswani, A. et al. (2017). *Attention Is All You Need*. arXiv:1706.03762. - Keskar, N. S. et al. (2019). *CTRL: A Conditional Transformer Language Model for Controllable Generation*. arXiv:1909.05858. - Holtzman, A. et al. (2020). *The Curious Case of Neural Text Degeneration*. arXiv:1904.09751. - Brown, T. et al. (2020). *Language Models are Few-Shot Learners*. arXiv:2005.14165. - Zong, M.; Krishnamachari, B. (2022). *A Survey on GPT-3*. arXiv:2212.00857. - Zhao, Y. et al. (2022). *Calibrating Sequence Likelihood Improves Conditional Language Generation*. arXiv:2210.00045. - Hu, J. C.; Cavicchioli, R.; Capotondi, A. (2023). *A Request for Clarity over the End-of-Sequence Token in the Self-Critical Sequence Training*. arXiv:2305.12254. - Zhu, W. et al. (2024). *Improving Open-Ended Text Generation via Adaptive Decoding*. arXiv:2402.18223. - Zhang, H. et al. (2024). *Adaptable Logical Control for Large Language Models*. arXiv:2406.13892. - Suh, Y. J. et al. (2025). *The Curious Case of Sequentially Mis-calibrated Language Models*. arXiv:2205.11916. ## टिप्पणियाँ 1. ↑ [1.0](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_ref-promptitude_def_1-0) [1.1](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_ref-promptitude_def_1-1) «Stop Sequence: Understanding & Setting It Correctly». *Promptitude.io Help Center*. [१] 2. ↑ [2.0](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_ref-openai_api_2-0) [2.1](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_ref-openai_api_2-1) «How do I use stop sequences in the OpenAI API?». *OpenAI Help Center*. [२] 3. [↑](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_ref-vellum_params_3-0) «How to use stop sequences?». *Vellum*. [३] 4. ↑ [4.0](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_ref-gpt3_survey_4-0) [4.1](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_ref-gpt3_survey_4-1) Brown, Tom, et al. «A Survey on GPT-3». *arXiv:2212.00857* \[cs.CL\], 1 дек. 2022 г. [४] 5. ↑ [5.0](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_ref-no_eos_extrapolation_5-0) [5.1](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_ref-no_eos_extrapolation_5-1) Suh, Y. J., et al. «The Curious Case of Sequentially Mis-calibrated Language Models». *arXiv:2205.11916* \[cs.CL\], 24 мая 2022 г. [५] 6. ↑ [6.0](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_ref-finetune_gpt3_6-0) [6.1](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_ref-finetune_gpt3_6-1) Eric, Mihail. «How to Finetune GPT3». *mihaileric.com*. [६] 7. [↑](https://systems-analysis.info/int/Stop_sequences_(language_models)_(HI)#cite_ref-cursor_backticks_7-0) Corin, Daniel. «Way Enough - Cursor Triple Backticks Stop Sequence». *danielcorin.com*. [७]