---
title: "LLaMA (Meta AI) (HI)"
source: "https://systems-analysis.info/int/LLaMA_(Meta_AI)_(HI)"
wiki: "systems-analysis.info/int"
article: "LLaMA_(Meta_AI)_(HI)"
language: "hi"
categories:
  - "Category:Hindi"
  - "Category:Large language models"
  - "Category:LLM families"
  - "Category:Machine learning"
revision_id: 3677
wiki_created_at: 2026-09-06T23:24:20Z
wiki_modified_at: 2026-09-06T23:24:20Z
downloaded_at: 2026-09-07T22:58:16Z
---

# LLaMA (Meta AI) (HI)

**LLaMA** (*Large Language Model Meta AI*) — बड़े भाषा मॉडलों (LLM) का एक परिवार है जिसका स्रोत कोड मुख्यतः खुला है और जिसे Meta AI की शोध इकाई द्वारा विकसित किया जा रहा है। LLaMA मॉडल संशोधित transformer आर्किटेक्चर पर आधारित हैं और उच्च कम्प्यूटेशनल दक्षता, अत्याधुनिक AI तकनीकों तक लोकतांत्रिक पहुँच तथा विशेष कार्यों के लिए सरल अनुकूलन पर केंद्रित हैं। यह परिवार प्रारंभिक शोध रिलीज़ LLaMA 1 (फरवरी 2023) से विकसित होकर मल्टीमोडल मॉडल LLaMA 4 (अनुमानित रिलीज़ 2026) तक पहुँच गया है।

## नामकरण

**LLaMA** का संक्षिप्त रूप **Large Language Model Meta AI** (Meta AI का बड़ा भाषा मॉडल) है।

- **Large Language Model** — इन मॉडलों के विशाल पैमाने को दर्शाता है, जिनके पैरामीटर अरबों से लेकर खरबों तक होते हैं।
- **Meta AI** — डेवलपर, अर्थात Meta की शोध टीम, को इंगित करता है।

## निर्माण का इतिहास

LLaMA का विकास 2022 के अंत में OpenAI के ChatGPT की सफलता के रणनीतिक उत्तर के रूप में Meta द्वारा शुरू किया गया। Mark Zuckerberg ने एक अंतरविभागीय टीम गठित की जिसमें FAIR (Facebook AI Research) प्रयोगशाला के शोधकर्ता शामिल थे। परियोजना की दार्शनिक दिशा में FAIR के प्रमुख Yann LeCun की महत्वपूर्ण भूमिका रही, जो 2013 से प्रयोगशाला के सभी शोधों को पूरी तरह खुला रखने के सिद्धांत का पालन करते आए हैं।

पहला संस्करण, **LLaMA 1**, फरवरी 2023 में शोध लाइसेंस के साथ जारी किया गया। रिलीज़ के तुरंत बाद, मार्च 2023 में, मॉडल के वज़न BitTorrent के माध्यम से इंटरनेट पर लीक हो गए। यह घटना, आशंकाओं के विपरीत, परियोजना के विकास को रोकने के बजाय उसे गति देने वाली साबित हुई, क्योंकि इसने दुनियाभर के स्वतंत्र शोधकर्ताओं और उत्साही लोगों को मॉडल के साथ प्रयोग करने का अवसर दिया। परिणामस्वरूप Hugging Face प्लेटफ़ॉर्म पर हज़ारों व्युत्पन्न मॉडल उभर आए। इसके बाद के संस्करण, **LLaMA 2** से शुरू करके, व्यावसायिक लाइसेंस के साथ जारी किए गए<sup>[\[1\]](https://systems-analysis.info/int/LLaMA_(Meta_AI)_(HI)#cite_note-1)</sup>, जिससे LLaMA की स्थिति खुले AI मॉडलों के बाज़ार में एक प्रमुख खिलाड़ी के रूप में सुदृढ़ हुई।

## मॉडलों का विकास और रिलीज़ कालक्रम

| संस्करण          | रिलीज़ तिथि                                                                                      | पैरामीटर सीमा                                 | प्रमुख नवाचार और विशेषताएँ                                                                                                |
|----------------|-------------------------------------------------------------------------------------------------|----------------------------------------------|-----------------------------------------------------------------------------------------------------------------------|
| **LLaMA 1**    | फरवरी 2023                                                                                      | 7B – 65B                                     | आधारभूत आर्किटेक्चर (RMSNorm, SwiGLU, RoPE)। 1.4 ट्रिलियन token पर प्रशिक्षण। 2048 token की संदर्भ विंडो। शोध लाइसेंस।            |
| **LLaMA 2**    | जुलाई 2023                                                                                       | 7B – 70B                                     | संवाद के लिए fine-tuning (RLHF)। Grouped-Query Attention (GQA) का समावेश। 4096 token की संदर्भ विंडो। पहला व्यावसायिक लाइसेंस। |
| **Code Llama** | अगस्त 2023                                                                                       | 7B – 70B                                     | कोड के लिए विशेष संस्करण। 500 अरब code token पर fine-tuning। प्रकार: आधारभूत, Python-विशेष, instruction-tuned।               |
| **LLaMA 3**    | अप्रैल 2024                                                                                       | 8B, 70B                                      | 15 ट्रिलियन token पर प्रशिक्षण। 128 हज़ार token की शब्दावली वाला बेहतर tokenizer। उच्च प्रदर्शन (MMLU पर 82%)।                 |
| **LLaMA 3.1**  | जुलाई 2024<sup>[\[2\]](https://systems-analysis.info/int/LLaMA_(Meta_AI)_(HI)#cite_note-2)</sup> | 8B, 70B, 405B                                | 405B की फ्लैगशिप मॉडल जिसका प्रदर्शन GPT-4o के समकक्ष। 128 हज़ार token तक की संदर्भ विंडो। छवि प्रसंस्करण की क्षमता उपलब्ध हुई।       |
| **LLaMA 4**    | (योजना: अप्रैल 2025)                                                                              | 109B (Scout), 400B (Maverick), 2T (Behemoth) | Mixture-of-Experts (MoE) आर्किटेक्चर। मूल मल्टीमोडलिटी (पाठ, छवि, वीडियो)। 10 मिलियन token तक की संदर्भ विंडो।                |

LLaMA मॉडलों के विकास का कालक्रम

## आर्किटेक्चर

LLaMA ऑटोरिग्रेसिव decoder-only transformer आर्किटेक्चर का उपयोग करता है, लेकिन इसमें कई महत्वपूर्ण सुधार शामिल किए गए हैं जो कम्प्यूटेशनल दक्षता और उत्पन्न पाठ की गुणवत्ता को बढ़ाते हैं:

- **Pre-normalization (पूर्व-सामान्यीकरण)**। सामान्यीकरण transformer की प्रत्येक उप-परत के निकास पर नहीं, बल्कि प्रवेश पर लागू किया जाता है। यह दृष्टिकोण अत्यंत गहरे नेटवर्क के प्रशिक्षण को स्थिर बनाता है और gradient संबंधी समस्याओं को रोकता है।
- **RMSNorm (Root Mean Square Layer Normalization)**। मानक LayerNorm के स्थान पर RMSNorm का उपयोग किया जाता है। यह सामान्यीकरण तकनीक औसत घटाने की क्रिया को समाप्त कर देती है, जिससे स्थिरता बनाए रखते हुए गणना 10–50% तेज़ हो जाती है।
- **SwiGLU (Swish-Gated Linear Unit)**। सक्रियण फ़ंक्शन के रूप में ReLU या GELU के स्थान पर SwiGLU का उपयोग किया जाता है। यह gating mechanism अधिक सुचारू gradient प्रवाह उत्पन्न करता है और मॉडल की गुणवत्ता में सुधार करता है।
- **RoPE (Rotary Position Embeddings, घूर्णन स्थितीय embedding)**। token की स्थिति एन्कोड करने के लिए सापेक्ष स्थितीय embedding RoPE का उपयोग किया जाता है, जो मॉडल को प्रशिक्षण के दौरान उपयोग की गई अनुक्रम लंबाई से अधिक लंबे अनुक्रमों पर बेहतर एक्सट्रापोलेशन करने में सक्षम बनाता है।
- **GQA (Grouped-Query Attention)**। LLaMA 2 में शामिल की गई यह तकनीक मल्टी-हेड attention का एक अनुकूलन है, जो मेमोरी आवश्यकताओं को काफी कम करती है और पाठ उत्पादन को गति देती है।
- **Mixture-of-Experts (MoE)** (LLaMA 4 में प्रस्तावित)। एक आर्किटेक्चर जो मॉडल के पैरामीटर को "विशेषज्ञ" उप-नेटवर्क में विभाजित करती है और प्रत्येक अनुरोध के लिए उनमें से केवल एक छोटे हिस्से को सक्रिय करती है। इससे inference की कम्प्यूटेशनल लागत में भारी कमी आती है।

### LLaMA 1 की कॉन्फ़िगरेशन

| मॉडल | पैरामीटर | छिपी हुई अवस्था का आयाम | परतों की संख्या | attention हेड की संख्या | प्रशिक्षण डेटा की मात्रा |
|------|---------|-----------------------|--------------|----------------------|----------------------|
| 7B   | 6.7B    | 4096                  | 32           | 32                   | 1.0T token           |
| 13B  | 13.0B   | 5120                  | 40           | 40                   | 1.0T token           |
| 33B  | 32.5B   | 6656                  | 60           | 52                   | 1.4T token           |
| 65B  | 65.2B   | 8192                  | 80           | 64                   | 1.4T token           |

LLaMA 1 मॉडलों के आर्किटेक्चरल पैरामीटर

## प्रशिक्षण डेटा

प्रशिक्षण कॉर्पस का आयतन LLaMA 1 के लिए 1.4 ट्रिलियन token से बढ़कर LLaMA 3 के लिए 15 ट्रिलियन token हो गया। प्रशिक्षण के लिए सार्वजनिक रूप से उपलब्ध स्रोतों का उपयोग किया जाता है, जिनमें Common Crawl (डेटा का 67% तक), C4, GitHub, Wikipedia, Books, ArXiv और Stack Exchange शामिल हैं। LLaMA 3 के लिए उच्च-गुणवत्ता वाले निजी डेटा का भी उपयोग किया गया।

## प्रदर्शन और तुलना

- **बेंचमार्क पर**: LLaMA 3.1 (405B) मॉडल GPT-4o के करीब परिणाम दिखाता है: MMLU परीक्षण पर यह 88.6% तक पहुँचता है, जो GPT-4o से केवल 0.1 प्रतिशत अंक पीछे है। कोड उत्पादन कार्य HumanEval पर LLaMA 3.1 89% प्रदर्शन करता है (GPT-4o — 90.2%)।
- **पैरामीटरिक दक्षता**: कम पैरामीटर वाले LLaMA मॉडल अक्सर प्रतिस्पर्धियों के बड़े मॉडलों को पीछे छोड़ देते हैं। उदाहरण के लिए, LLaMA 1 (13B) ने अधिकांश परीक्षणों में GPT-3 (175B) को पीछे छोड़ दिया।
- **लागत**: स्थानीय होस्टिंग पर LLaMA के inference की लागत मालिकाना API के उपयोग की तुलना में 50 गुना तक कम हो सकती है, जो इस तकनीक को छोटे और मध्यम व्यवसायों के लिए सुलभ बनाती है।

## लाइसेंसिंग

- **LLaMA 1** गैर-व्यावसायिक शोध लाइसेंस के अंतर्गत अनुरोध-आधारित पहुँच के साथ वितरित की गई थी।
- **LLaMA 2 और बाद के संस्करण** Llama Community License के अंतर्गत वितरित किए जाते हैं, जो व्यावसायिक उपयोग और संशोधन की अनुमति देता है। हालाँकि, लाइसेंस में कुछ प्रतिबंध हैं: प्रति माह 700 मिलियन से अधिक सक्रिय उपयोगकर्ताओं वाली कंपनियों को Meta से विशेष अनुमति लेनी होती है। इससे इस बात पर बहस छिड़ी है कि क्या LLaMA वास्तव में पूरी तरह खुला मॉडल है।

## अनुप्रयोग

LLaMA मॉडल हज़ारों कंपनियों के उत्पादों में एकीकृत हैं और विभिन्न क्षेत्रों में उपयोग किए जाते हैं:

- कॉर्पोरेट क्षेत्र: Zoom, मीटिंग सारांश के लिए AI Companion में LLaMA का उपयोग करता है; Shopify, उत्पाद मेटाडेटा समृद्ध करने के लिए प्रतिदिन 4–6 करोड़ अनुरोध संसाधित करने में; Instacart, आंतरिक सहायक Ava में।
- विज्ञान और समाज: Meditron (LLaMA का अनुकूलन) सीमित संसाधनों वाले क्षेत्रों में चिकित्सा निदान के लिए उपयोग किया जाता है।
- सरकारी क्षेत्र और उद्योग: Meta ने Lockheed Martin और Palantir के साथ साझेदारी की है। NASA, अंतरिक्ष स्टेशन ISS पर पृथ्वी से संपर्क के बिना महत्वपूर्ण अभियानों को संचालित करने के लिए ऑफलाइन सहायक के रूप में LLaMA 3 का उपयोग करता है।

## सीमाएँ और आलोचना

- पूर्वाग्रह और सुरक्षा: स्वतंत्र ऑडिट से पता चलता है कि LLaMA मॉडल, सुरक्षा उपायों के बावजूद, हानिकारक रूढ़िवादिता को पुनः उत्पन्न कर सकते हैं। LLaMA 1 के वज़न की लीक ने तकनीक के संभावित दुर्भावनापूर्ण उपयोग के प्रश्नों को और तीव्र कर दिया।
- ज्ञान में अंतराल: अत्यंत विशेष क्षेत्रों में LLaMA में कमियाँ दिखाई दे सकती हैं। उदाहरण के लिए, चिकित्सा परीक्षण nephSAP पर सटीकता GPT-4 के 73% की तुलना में केवल 17–30% रही।
- ऊर्जा खपत: बड़े मॉडलों के प्रशिक्षण के लिए विशाल संसाधनों की आवश्यकता होती है। LLaMA 1 के प्रशिक्षण में 2,638 MWh ऊर्जा की खपत हुई, जो 1,015 टन CO₂ उत्सर्जन के बराबर है।

## भविष्य

Meta 2025 तक AI बुनियादी ढाँचे में 65 अरब डॉलर तक निवेश करने की योजना बना रहा है। 2 ट्रिलियन पैरामीटर वाला मॉडल **LLaMA 4 Behemoth** विकास के अधीन है, जो 200 से अधिक भाषाओं का समर्थन करेगा और मेटावर्स उत्पादों के साथ गहरे एकीकरण की सुविधा प्राप्त करेगा।

## साहित्य

- Ainslie, J. et al. (2023). *GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints*. arXiv:2305.13245.
- Fedus, W.; Zoph, B.; Shazeer, N. (2021). *Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity*. arXiv:2101.03961.
- Grattafiori, A. et al. (2024). *The Llama 3 Herd of Models*. arXiv:2407.21783.
- Jiang, Z. et al. (2023). *Pre‑RMSNorm and Pre‑CRMSNorm Transformers: Equivalent and Efficient Pre‑LN Transformers*. arXiv:2305.14858.
- Rozière, B. et al. (2023). *Code Llama: Open Foundation Models for Code*. arXiv:2308.12950.
- Shazeer, N. (2020). *GLU Variants Improve Transformer*. arXiv:2002.05202.
- Su, J. et al. (2021). *RoFormer: Enhanced Transformer with Rotary Position Embedding*. arXiv:2104.09864.
- Touvron, H. et al. (2023). *LLaMA: Open and Efficient Foundation Language Models*. arXiv:2302.13971.
- Touvron, H. et al. (2023). *Llama 2: Open Foundation and Fine‑Tuned Chat Models*. arXiv:2307.09288.
- Zhang, B.; Sennrich, R. (2019). *Root Mean Square Layer Normalization*. arXiv:1910.07467.

## टिप्पणियाँ

1.  <span id="cite_note-1">[↑](https://systems-analysis.info/int/LLaMA_(Meta_AI)_(HI)#cite_ref-1) Лицензия LLaMA не соответствует всем критериям открытого ПО, так как накладывает ограничения на коммерческое использование крупнейшими компаниями и требует раскрытия информации о модификациях.</span>
2.  <span id="cite_note-2">[↑](https://systems-analysis.info/int/LLaMA_(Meta_AI)_(HI)#cite_ref-2) LLaMA 3.1 была анонсирована и выпущена в июле 2024 года. См. <a href="https://ai.meta.com/blog/meta-llama-3-1/" class="external text" rel="nofollow">официальный анонс Meta</a>.</span>

## यह भी देखें

- GPT
- बड़े भाषा मॉडल
- Transformer (न्यूरल नेटवर्क आर्किटेक्चर)