Fine-tuning (deep learning) (UR)

فائن ٹیوننگ (انگریزی: Fine-tuning)، جسے باریک ترتیب بھی کہا جاتا ہے، — یہ Machine Learning میں ٹرانسفر لرننگ کا ایک طریقہ ہے جس میں پہلے سے تربیت یافتہ ماڈل (pre-trained model) کے پیرامیٹرز کو کسی نئے، مخصوص مسئلے کے حل کے لیے ڈھالا جاتا ہے۔ ماڈل کو سرے سے تربیت دینے کے بجائے — جس کے لیے بہت بڑی مقدار میں ڈیٹا اور حسابی وسائل درکار ہوتے ہیں — fine-tuning اس علم کو استعمال کرنے کی اجازت دیتا ہے جو ماڈل کے وزن میں پہلے سے محفوظ ہے، اور انھیں مخصوص ضروریات کے مطابق «ترتیب» دیتا ہے۔

یہ طریقہ گہرے سیکھنے (deep learning) کے شعبے میں، خاص طور پر بڑے زبانی ماڈلز (LLM) اور کمپیوٹر وژن ماڈلز کے ساتھ کام کرتے وقت، ایک de-facto معیار بن چکا ہے۔

تصور

fine-tuning کے عمل کو دو بنیادی مراحل میں تقسیم کیا جا سکتا ہے:

1. ابتدائی تربیت (Pre-training): ماڈل (مثلاً BERT یا GPT) کو ایک بہت بڑے اور عمومی ڈیٹاسیٹ (مثلاً پورا انٹرنیٹ) پر خود نگرانی والے کام (مثلاً اگلے لفظ کی پیشگوئی) کے ذریعے تربیت دی جاتی ہے۔ اس مرحلے میں ماڈل عمومی قواعد، نحو، معنیات اور دنیا کے بارے میں علم حاصل کرتا ہے۔

2. فائن ٹیوننگ (Fine-tuning): پہلے سے تربیت یافتہ ماڈل کو بنیاد کے طور پر لیا جاتا ہے، اور اس کے وزن کو چھوٹے مگر ہدف کام کے لیے مخصوص لیبل شدہ ڈیٹاسیٹ پر باریکی سے ترتیب دیا جاتا ہے۔

بنیادی خیال یہ ہے کہ ابتدائی تربیت کے مرحلے میں حاصل کردہ علم عالمگیر نوعیت کا ہوتا ہے اور اسے بہت سے دیگر، زیادہ مخصوص مسائل کے حل کے لیے کامیابی سے منتقل کیا جا سکتا ہے۔

فائن ٹیوننگ کا عمل

fine-tuning کے معمول کے عمل میں درج ذیل اقدامات شامل ہیں:

1. پہلے سے تربیت یافتہ ماڈل کا انتخاب: ایسا ماڈل منتخب کیا جاتا ہے جس کی بنیادی صلاحیتیں ہدف کام کے لیے موزوں ہوں (مثلاً متن کی سمجھ کے لیے BERT، تخلیق کے لیے GPT)۔

2. فن تعمیر کی موافقت: پہلے سے تربیت یافتہ ماڈل میں ایک نئی، ہدف کام کے لیے مخصوص «سر» کی پرت (head) شامل کی جاتی ہے۔ مثلاً:

• متن کی درجہ بندی کے لیے softmax فنکشن کے ساتھ ایک سادہ مکمل طور پر جڑی ہوئی پرت شامل کی جاتی ہے۔
• نامی اداروں کی شناخت (NER) کے لیے ہر token کی آؤٹ پٹ پر درجہ بند کنندہ شامل کیا جاتا ہے۔

3. ہدف ڈیٹاسیٹ پر تربیت: پورا ماڈل (یا اس کا حصہ) نئے، لیبل شدہ ڈیٹاسیٹ پر تربیت پاتا ہے۔ اس مرحلے میں ماڈل کے وزن، بشمول پہلے سے تربیت یافتہ پرتوں کے وزن، نئے کام پر نقصان کی مقدار کو کم سے کم کرنے کے لیے گریڈینٹ ڈیسنٹ کے ذریعے اپ ڈیٹ کیے جاتے ہیں۔

4. کم تربیتی رفتار کا استعمال: fine-tuning کے دوران عام طور پر ابتدائی تربیت کے مقابلے میں نمایاں طور پر کم تربیتی رفتار استعمال کی جاتی ہے۔ یہ اس لیے ضروری ہے تاکہ ماڈل کے وزن میں پہلے سے محفوظ مفید علم کو «تباہ» نہ کیا جائے، بلکہ اسے صرف احتیاط سے درست کیا جائے۔

فائن ٹیوننگ کی اقسام

مکمل فائن ٹیوننگ (Full Fine-tuning)

• اصول: پہلے سے تربیت یافتہ ماڈل کے تمام پیرامیٹرز کو نئی «سر» کی پرت کے ساتھ مل کر اپ ڈیٹ کیا جاتا ہے۔
• فوائد: ممکنہ طور پر بہترین کارکردگی فراہم کرتا ہے، کیونکہ پورا ماڈل نئے کام کے لیے ڈھل جاتا ہے۔
• نقصانات: تمام پیرامیٹرز کے گریڈینٹ محفوظ کرنے اور اپ ڈیٹ کرنے کی ضرورت کی وجہ سے اہم حسابی وسائل اور میموری درکار ہوتی ہے۔ تباہ کن بھول کا خطرہ موجود ہے، جب ماڈل ابتدائی تربیت کے دوران حاصل کردہ عمومی علم کو «بھول» جاتا ہے۔

پیرامیٹر کے لحاظ سے مؤثر فائن ٹیوننگ (Parameter-Efficient Fine-Tuning, PEFT)

یہ طریقوں کا ایک خاندان ہے جن کا مقصد fine-tuning کے حسابی اخراجات کو کم کرنا ہے۔ بنیادی خیال یہ ہے کہ پہلے سے تربیت یافتہ ماڈل کے زیادہ تر پیرامیٹرز کو منجمد کر دیا جائے اور صرف تھوڑی تعداد میں نئے یا منتخب موجودہ پیرامیٹرز کو تربیت دی جائے۔

• PEFT طریقوں کی مثالیں:
  • اڈاپٹر (Adapters): Transformer کے فن تعمیر میں چھوٹی، اضافی اڈاپٹر پرتیں شامل کی جاتی ہیں، اور صرف انھیں تربیت دی جاتی ہے۔
  • LoRA (Low-Rank Adaptation): مکمل وزنی میٹرکس کو اپ ڈیٹ کرنے کی بجائے، LoRA ان کی کم رینک اپ ڈیٹس کو تربیت دیتا ہے۔ اس سے قابل تربیت پیرامیٹرز کی تعداد ہزاروں گنا کم کی جا سکتی ہے۔
  • Prompt Tuning: ان پٹ ڈیٹا میں قابل تربیت «prompt» ویکٹر شامل کیے جاتے ہیں جو کام کے حل کے لیے ترتیب پاتے ہیں، جبکہ ماڈل خود منجمد رہتا ہے۔

• PEFT کے فوائد:
  • کارکردگی: میموری اور حسابات کی ضروریات کو نمایاں طور پر کم کرتا ہے۔
  • ماڈیولریت: ایک پہلے سے تربیت یافتہ ماڈل کو بہت سے کاموں کے لیے آسانی سے ڈھالنے کی اجازت دیتا ہے، ہر کام کے لیے صرف چھوٹے ڈھالے گئے وزن کے مجموعے محفوظ کرکے۔

ہدایات پر فائن ٹیوننگ (Instruction Tuning)

یہ fine-tuning کی ایک خاص قسم ہے جس کا مقصد LLM کی قدرتی زبان میں ہدایات پر عمل کرنے کی صلاحیت کو بہتر بنانا ہے۔

• کام کرنے کا اصول: ماڈل کو «ہدایت — مطلوبہ آؤٹ پٹ» کے جوڑوں پر مشتمل ڈیٹاسیٹ پر fine-tune کیا جاتا ہے۔
• مقصد: ماڈل کی نئے، پہلے نہ دیکھے گئے کاموں پر عمومیت پذیری کی صلاحیت کو بہتر بنانا، جن کو ہدایات کی شکل میں بیان کیا جا سکتا ہے۔ InstructGPT اور FLAN-T5 جیسے ماڈل اس طریقہ کی نمایاں مثالیں ہیں۔

کتابیات

• Howard, J.; Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. arXiv:1801.06146.
• Houlsby, N. et al. (2019). Parameter-Efficient Transfer Learning for NLP. arXiv:1902.00751.
• Pfeiffer, J. et al. (2020). AdapterFusion: Non-Destructive Task Composition for Transfer Learning. arXiv:2005.00247.
• Hu, E. J. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Lester, B.; Al-Rfou, R.; Constant, N. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. arXiv:2104.08691.
• Ben Zaken, A.; Goldberg, Y.; Ravfogel, S. (2022). BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-based Masked Language-Models. ACL 2022.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Han, Z. et al. (2024). Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey. arXiv:2403.14608.
• Bian, J. et al. (2025). A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning. arXiv:2504.21099.
• Li, X. et al. (2025). Revisiting Fine-Tuning: A Survey of Parameter-Efficient Techniques and Future Directions. Preprints.org.

یہ بھی دیکھیں

• بڑے زبانی ماڈل
• BERT
• GPT