Fine-tuning (deep learning) (HI)

फाइन-ट्यूनिंग (अंग्रेज़ी: Fine-tuning), जिसे सूक्ष्म समायोजन भी कहा जाता है, — यह Machine Learning में ट्रांसफर लर्निंग की एक विधि है, जिसमें पूर्व-प्रशिक्षित मॉडल (pre-trained model) के पैरामीटरों को किसी नई, विशिष्ट समस्या के समाधान के लिए अनुकूलित किया जाता है। मॉडल को शून्य से प्रशिक्षित करने के बजाय — जिसके लिए विशाल मात्रा में डेटा और कम्प्यूटेशनल संसाधनों की आवश्यकता होती है — fine-tuning मॉडल के भारों (weights) में पहले से एन्कोड किए गए ज्ञान का उपयोग करने और उन्हें विशिष्ट आवश्यकताओं के अनुसार "समायोजित" करने की अनुमति देती है।

यह दृष्टिकोण गहन अधिगम (deep learning) के क्षेत्र में, विशेष रूप से बड़े भाषा मॉडलों (LLM) और कंप्यूटर विज़न मॉडलों के साथ कार्य करते समय, वास्तविक मानक बन गया है।

अवधारणा

Fine-tuning की प्रक्रिया को दो मुख्य चरणों में विभाजित किया जा सकता है:

1. पूर्व-प्रशिक्षण (Pre-training): मॉडल (उदाहरण के लिए, BERT या GPT) को एक बहुत बड़े और सामान्य dataset (उदाहरण के लिए, संपूर्ण इंटरनेट) पर स्व-निगरानी कार्य (self-supervised task) (उदाहरण के लिए, अगले शब्द की भविष्यवाणी) का उपयोग करके प्रशिक्षित किया जाता है। इस चरण में मॉडल सामान्य नियमितताएँ, वाक्य-विन्यास, अर्थ विज्ञान और विश्व के बारे में ज्ञान सीखता है।

2. फाइन-ट्यूनिंग (Fine-tuning): पूर्व-प्रशिक्षित मॉडल को आधार के रूप में लिया जाता है, और उसके भारों को एक छोटे किंतु लक्षित कार्य के लिए विशिष्ट लेबल किए गए dataset पर पुनः समायोजित किया जाता है।

मुख्य विचार यह है कि पूर्व-प्रशिक्षण चरण में प्राप्त ज्ञान सार्वभौमिक है और इसे अनेक अन्य, अधिक संकीर्ण समस्याओं के समाधान के लिए सफलतापूर्वक स्थानांतरित किया जा सकता है।

Fine-tuning की प्रक्रिया

Fine-tuning की सामान्य प्रक्रिया में निम्नलिखित चरण शामिल हैं:

1. पूर्व-प्रशिक्षित मॉडल का चयन: ऐसा मॉडल चुना जाता है जिसकी मूल क्षमताएँ लक्षित कार्य के लिए उपयुक्त हों (उदाहरण के लिए, पाठ बोध कार्यों के लिए BERT, पाठ निर्माण के लिए GPT)।

2. आर्किटेक्चर का अनुकूलन: पूर्व-प्रशिक्षित मॉडल में एक नई, लक्षित कार्य-विशिष्ट "हेड" परत (head) जोड़ी जाती है। उदाहरण के लिए:

• पाठ वर्गीकरण के लिए softmax फ़ंक्शन के साथ एक सरल पूर्णतः-संयुक्त परत जोड़ी जाती है।
• नामांकित इकाई पहचान (NER) के लिए प्रत्येक token के आउटपुट पर एक क्लासिफायर जोड़ा जाता है।

3. लक्षित dataset पर प्रशिक्षण: संपूर्ण मॉडल (या उसका एक भाग) नए, लेबल किए गए dataset पर प्रशिक्षित किया जाता है। इस चरण में मॉडल के भार, जिनमें पूर्व-प्रशिक्षित परतों के भार भी शामिल हैं, नई समस्या पर हानि फ़ंक्शन (loss function) को न्यूनतम करने के लिए ग्रेडिएंट डिसेंट द्वारा अद्यतन किए जाते हैं।

4. निम्न लर्निंग दर का उपयोग: Fine-tuning के दौरान सामान्यतः पूर्व-प्रशिक्षण की तुलना में काफी कम लर्निंग दर का उपयोग किया जाता है। यह इसलिए आवश्यक है ताकि मॉडल के भारों में पहले से एन्कोड किए गए उपयोगी ज्ञान को "नष्ट" न किया जाए, बल्कि उसे सावधानीपूर्वक समायोजित किया जाए।

Fine-tuning के प्रकार

पूर्ण Fine-tuning (Full Fine-tuning)

• सिद्धांत: पूर्व-प्रशिक्षित मॉडल के सभी पैरामीटर नई "हेड" परत के साथ अद्यतन किए जाते हैं।
• लाभ: संभावित रूप से सर्वोत्तम प्रदर्शन सुनिश्चित करता है, क्योंकि संपूर्ण मॉडल नई समस्या के अनुसार अनुकूलित होता है।
• हानि: महत्वपूर्ण कम्प्यूटेशनल संसाधनों और मेमोरी की आवश्यकता होती है, क्योंकि सभी पैरामीटरों के लिए ग्रेडिएंट संग्रहीत और अद्यतन करने होते हैं। विनाशकारी विस्मरण (catastrophic forgetting) का जोखिम होता है, जब मॉडल पूर्व-प्रशिक्षण में प्राप्त सामान्य ज्ञान को "भूल" जाता है।

पैरामीटर-कुशल Fine-tuning (Parameter-Efficient Fine-Tuning, PEFT)

यह विधियों का एक परिवार है जो fine-tuning के दौरान कम्प्यूटेशनल लागत को कम करने का लक्ष्य रखता है। मुख्य विचार — पूर्व-प्रशिक्षित मॉडल के अधिकांश पैरामीटरों को फ्रीज़ करना और केवल कम संख्या में नए या चुने हुए मौजूदा पैरामीटरों को प्रशिक्षित करना है।

• PEFT विधियों के उदाहरण:
  • अडैप्टर (Adapters): Transformer आर्किटेक्चर में छोटी, अतिरिक्त adapter परतें सम्मिलित की जाती हैं, और केवल उन्हीं को प्रशिक्षित किया जाता है।
  • LoRA (Low-Rank Adaptation): पूर्ण भार मैट्रिक्स को अद्यतन करने के बजाय, LoRA उनके निम्न-रैंक अद्यतन (low-rank updates) को प्रशिक्षित करता है। इससे प्रशिक्षण योग्य पैरामीटरों की संख्या हजारों गुना कम हो जाती है।
  • Prompt Tuning: इनपुट डेटा में प्रशिक्षण योग्य वेक्टर-"prompt" जोड़े जाते हैं, जो समस्या के समाधान के लिए समायोजित होते हैं, जबकि मॉडल स्वयं फ्रीज़ रहता है।

• PEFT के लाभ:
  • दक्षता: मेमोरी और कम्प्यूटेशन की आवश्यकताओं को महत्वपूर्ण रूप से कम करता है।
  • मॉड्यूलरता: एक पूर्व-प्रशिक्षित मॉडल को अनेक कार्यों के लिए आसानी से अनुकूलित करने की अनुमति देता है, प्रत्येक के लिए केवल छोटे अनुकूलित भार संग्रहीत करके।

निर्देश-आधारित Fine-tuning (Instruction Tuning)

यह fine-tuning का एक विशिष्ट प्रकार है, जिसका उद्देश्य LLM की प्राकृतिक भाषा में निर्देशों का पालन करने की क्षमता में सुधार करना है।

• कार्य सिद्धांत: मॉडल को "निर्देश — वांछित आउटपुट" युग्मों से बने dataset पर fine-tune किया जाता है।
• लक्ष्य: मॉडल की नई, पहले न देखी गई समस्याओं पर सामान्यीकरण क्षमता में सुधार करना, जिन्हें निर्देशों के रूप में वर्णित किया जा सकता है। InstructGPT और FLAN-T5 जैसे मॉडल इस दृष्टिकोण के उत्कृष्ट उदाहरण हैं।

साहित्य

• Howard, J.; Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. arXiv:1801.06146.
• Houlsby, N. et al. (2019). Parameter-Efficient Transfer Learning for NLP. arXiv:1902.00751.
• Pfeiffer, J. et al. (2020). AdapterFusion: Non-Destructive Task Composition for Transfer Learning. arXiv:2005.00247.
• Hu, E. J. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Lester, B.; Al-Rfou, R.; Constant, N. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. arXiv:2104.08691.
• Ben Zaken, A.; Goldberg, Y.; Ravfogel, S. (2022). BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-based Masked Language-Models. ACL 2022.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Han, Z. et al. (2024). Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey. arXiv:2403.14608.
• Bian, J. et al. (2025). A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning. arXiv:2504.21099.
• Li, X. et al. (2025). Revisiting Fine-Tuning: A Survey of Parameter-Efficient Techniques and Future Directions. Preprints.org.

यह भी देखें

• बड़े भाषा मॉडल
• BERT
• GPT