Pre-training of large language models — पूर्व-प्रशिक्षण

From Systems analysis Wiki
Jump to navigation Jump to search

बड़े भाषा मॉडलों (LLM) का पूर्व-प्रशिक्षण (Pre-training) — आधुनिक बड़े भाषा मॉडलों के निर्माण का एक मूलभूत चरण है, जिसमें उन्हें विशाल और विविध असंरचित (unstructured) पाठ संग्रहों पर प्रशिक्षित किया जाता है। यह प्रक्रिया मॉडलों को सामान्य भाषाई नियमितताएँ, विश्व-ज्ञान और अर्थगत संबंध आत्मसात करने देती है, जिससे एक तथाकथित फाउंडेशन मॉडल (foundation model) बनता है, जिसे बाद में विशिष्ट कार्यों के लिए अनुकूलित किया जा सकता है।

पूर्व-प्रशिक्षण क्या है?

पूर्व-प्रशिक्षण (pre-training) प्रशिक्षण का प्रारंभिक चरण है, जिसमें LLM को self-supervised learning (स्व-पर्यवेक्षित अधिगम) विधियों का उपयोग करके बड़े पैमाने के पाठ डेटासेट पर प्रशिक्षित किया जाता है। इसका अर्थ है कि प्रशिक्षण संकेत (लेबल) स्वयं डेटा से उत्पन्न होते हैं, मानव द्वारा हस्तचालित लेबलिंग की आवश्यकता के बिना।

इस चरण का मुख्य उद्देश्य पाठ के छिपे हुए या भावी भागों की भविष्यवाणी करना है। आर्किटेक्चर के आधार पर, दो मुख्य कार्यों का उपयोग किया जाता है:

  • कॉज़ल भाषा मॉडलिंग (Causal Language Modeling, CLM): मॉडल सभी पूर्ववर्ती शब्दों (token) के आधार पर अनुक्रम में अगले शब्द (token) का पूर्वानुमान लगाना सीखता है। यह दृष्टिकोण GPT जैसे जनरेटिव मॉडलों का आधार है।
  • मास्क्ड भाषा मॉडलिंग (Masked Language Modeling, MLM): मॉडल पाठ में यादृच्छिक रूप से "मास्क" किए गए (छिपाए गए) शब्दों को उनके आस-पास के द्विदिशात्मक संदर्भ (बाएँ और दाएँ के शब्दों) का उपयोग करके पुनर्स्थापित करना सीखता है। यह विधि BERT जैसे मॉडलों में उपयोग की जाती है।

इन कार्यों की बदौलत, मॉडल को भविष्यवाणियाँ सफलतापूर्वक करने के लिए वाक्य-रचना, अर्थविज्ञान और विश्व के वास्तविक ज्ञान का अध्ययन करने के लिए बाध्य होना पड़ता है।

पूर्व-प्रशिक्षण के लिए डेटा

पूर्व-प्रशिक्षण की प्रभावशीलता काफी हद तक प्रशिक्षण डेटा की गुणवत्ता और विविधता पर निर्भर करती है। निम्नलिखित मुख्य स्रोतों का उपयोग किया जाता है:

  • वेब-पृष्ठ: Common Crawl और C4 जैसे डेटा संग्रह विषयों, शैलियों और भाषाओं की एक विस्तृत श्रृंखला प्रदान करते हैं, जो इंटरनेट का एक "स्नैपशॉट" प्रस्तुत करते हैं।
  • पुस्तकें: BookCorpus और The Pile जैसे संग्रह संरचित और सुसंगत पाठ प्रदान करते हैं, जो दीर्घकालिक निर्भरताओं और आख्यानों को समझने के लिए उपयोगी हैं।
  • संवाद डेटा: फ़ोरम (जैसे Reddit) और सोशल नेटवर्क से प्राप्त डेटा, जो मॉडलों को अनौपचारिक भाषा और संवाद पैटर्न सीखने में मदद करता है।
  • विशेष डेटा: वैज्ञानिक लेख (arXiv से), प्रोग्राम कोड (GitHub और The Stack से) या मॉडल की विशिष्ट क्षमताओं को बेहतर बनाने के लिए बहुभाषी पाठ।

डेटा वितरण के उदाहरण

विभिन्न मॉडल स्रोतों के भिन्न अनुपातों का उपयोग करते हैं, जो उनकी अंतिम क्षमताओं को प्रभावित करता है:

  • GPT-3 (175 अरब पैरामीटर):** 16% पुस्तकें, 84% वेब-पृष्ठ।
  • PaLM (540 अरब पैरामीटर):** 5% पुस्तकें, 14% वेब-पृष्ठ, 50% संवाद डेटा, 31% अन्य।
  • LLaMA (65 अरब पैरामीटर):** 5% पुस्तकें, 2% वेब-पृष्ठ, 87% संवाद डेटा।

ये वितरण दर्शाते हैं कि डेटा का चयन एक रणनीतिक निर्णय है, जो मॉडल के लक्ष्यों के आधार पर भिन्न होता है।

सामान्यतः उपयोग किए जाने वाले कॉर्पस

LLM के पूर्व-प्रशिक्षण के लिए सामान्यतः उपयोग किए जाने वाले डेटासेट
कॉर्पस आकार स्रोत अंतिम अद्यतन
BookCorpus 5GB पुस्तकें दिसम्बर-2015
Gutenberg - पुस्तकें दिसम्बर-2021
C4 800GB Common Crawl अप्रैल-2019
CC-Stories-R 31GB Common Crawl सितम्बर-2019
CC-NEWS 78GB Common Crawl फ़रवरी-2019
REALNEWS 120GB Common Crawl अप्रैल-2019
OpenWebText 38GB Reddit लिंक मार्च-2023
Pushshift.io 2TB Reddit लिंक मार्च-2023
Wikipedia 21GB विकिपीडिया मार्च-2023
The Pile 800GB अन्य दिसम्बर-2020
ROOTS 1.6TB अन्य जून-2022

प्रशिक्षण तकनीकें

LLM के पूर्व-प्रशिक्षण के लिए महत्वपूर्ण संगणकीय संसाधनों की आवश्यकता होती है। इस प्रक्रिया को प्रबंधित करने के लिए निम्नलिखित तकनीकों का उपयोग किया जाता है:

  • वितरित प्रशिक्षण (Distributed Training): समानांतर प्रसंस्करण के लिए अनेक GPU या TPU का उपयोग।
  • Mixed Precision (मिश्रित परिशुद्धता): गणनाओं को तेज़ करने और मेमोरी उपयोग को कम करने के लिए कम परिशुद्धता वाले संख्यात्मक प्रारूपों (जैसे 32-बिट के स्थान पर 16-बिट) का उपयोग।
  • Gradient Checkpointing (ग्रेडिएंट चेकपॉइंटिंग): कुछ मध्यवर्ती सक्रियणों को संग्रहीत करने के बजाय पुनर्गणना करके मेमोरी बचाने की तकनीक।
  • Model Parallelism (मॉडल समानांतरवाद): स्वयं मॉडल को अनेक उपकरणों में वितरित करना।

GPT-3 जैसे मॉडल का प्रशिक्षण हज़ारों GPU पर कई महीने ले सकता है।

स्केलिंग के नियम (Scaling Laws)

OpenAI (Kaplan et al., 2020) जैसे शोधों ने दिखाया है कि तीन कारकों में वृद्धि के साथ भाषा मॉडलों का प्रदर्शन पूर्वानुमानित रूप से बेहतर होता है:

  • मॉडल का आकार (पैरामीटरों की संख्या)।
  • डेटा की मात्रा।
  • संगणकीय संसाधन।

ये अनुभवजन्य निर्भरताएँ, जिन्हें स्केलिंग के नियम (Scaling Laws) कहा जाता है, डेवलपर्स के लिए बड़े और अधिक शक्तिशाली मॉडलों को डिज़ाइन और प्रशिक्षित करते समय मार्गदर्शक के रूप में काम करती हैं, जिससे संगणकीय बजट का इष्टतम वितरण संभव होता है।

चुनौतियाँ और उपलब्धियाँ

  • स्केलिंग: पूर्व-प्रशिक्षण की मुख्य उपलब्धि यह है कि इष्टतम प्रदर्शन प्राप्त करने के लिए मॉडल के आकार, डेटा और गणनाओं में संतुलन बनाने की क्षमता।
  • डेटा गुणवत्ता: प्रशिक्षण डेटा में स्वच्छता, विविधता और पूर्वाग्रह की अनुपस्थिति सुनिश्चित करना एक प्रमुख चुनौती है।
  • दक्षता: संगणकीय लागत को कम करने के लिए विधियों का विकास, जैसे निरंतर पूर्व-प्रशिक्षण या अधिक कुशल आर्किटेक्चर।
  • बहुभाषिकता: कई भाषाओं को प्रभावी ढंग से संसाधित करने में सक्षम मॉडल बनाने के लिए डेटा के सावधानीपूर्वक चयन और संतुलन की आवश्यकता होती है।

यह भी देखें

  • बड़े भाषा मॉडल
  • BERT
  • GPT
Retrieved from "https://systems-analysis.info/int/index.php?title=Pre-training_of_large_language_models_—_पूर्व-प्रशिक्षण&oldid=5716"