DeepSeek (HI)

From Systems analysis Wiki
Jump to navigation Jump to search

DeepSeek — एक चीनी कृत्रिम बुद्धिमत्ता अनुसंधान कंपनी है, जो बड़े भाषा मॉडल (LLM) और मल्टीमॉडल सिस्टम विकसित करती है। कंपनी को अपने मॉडलों के weights के खुले वितरण और उनकी उच्च आर्थिक दक्षता के कारण व्यापक प्रसिद्धि मिली, जिसने 2024 के अंत और 2025 की शुरुआत में AI बाज़ार में मूल्य संशोधन को प्रेरित किया।[1]

इतिहास

DeepSeek के संस्थापक उद्यमी और हेज फंड High‑Flyer के सह-संस्थापक लियांग वेनफेंग हैं। वसंत 2023 में High‑Flyer ने अपने AI अनुसंधान विभाग को अलग किया, जो उसी वर्ष मई में DeepSeek AI कंपनी बन गया। 2025 तक कर्मचारियों की संख्या बढ़कर ~160 हो गई।[2] शुरू से ही कंपनी ने खुलेपन की नीति घोषित की — अनुमोदित लाइसेंस के तहत weights का प्रकाशन («open‑weight») और AGI पर मौलिक अनुसंधान पर ध्यान केंद्रित करना।

अधिकांश स्टार्टअप्स के विपरीत, DeepSeek को High-Flyer के R&D बजट से वित्त पोषित किया जाता है, जो संस्थापक के अनुसार तत्काल मुद्रीकरण के बजाय दीर्घकालिक लक्ष्यों पर ध्यान केंद्रित करने की अनुमति देता है।[3]

जनवरी 2025 में DeepSeek-R1 मॉडल के लॉन्च के बाद कंपनी ने प्रौद्योगिकी और वित्तीय समुदाय में महत्वपूर्ण हलचल मचाई। यह दावा कि GPT-4 के समकक्ष मॉडल को प्रशिक्षित करने में $6 मिलियन से कम का खर्च आया (जबकि GPT-4 के लिए $100+ मिलियन का अनुमान लगाया गया था), ने तकनीकी दिग्गजों के शेयरों में गिरावट ला दी और उद्योग को «अधिक कम्प्यूटिंग = बेहतर मॉडल» की अवधारणा पर पुनर्विचार करने पर मजबूर किया।[4]

आर्किटेक्चर की विशेषताएं

Mixture‑of‑Experts (DeepSeekMoE)
DeepSeek के अधिकांश प्रमुख मॉडल Mixture of Experts (MoE) आर्किटेक्चर का उपयोग करते हैं। «घने» मॉडलों के विपरीत, जहाँ अनुरोध को संसाधित करते समय सभी parameters सक्रिय होते हैं, MoE मॉडलों में प्रत्येक token के लिए केवल विशेष उप-नेटवर्क («विशेषज्ञों») का एक छोटा हिस्सा सक्रिय होता है। DeepSeek ने MoE का अपना स्वयं का कार्यान्वयन विकसित किया है जिसमें «साझा» विशेषज्ञ, सूक्ष्म-दानेदार विभाजन और सहायक हानि के बिना लोड संतुलन शामिल है, जो सैकड़ों अरबों parameters में से केवल एक हिस्से को सक्रिय करने और कम्प्यूटेशनल लागत को तेज़ी से कम करने की अनुमति देता है।[5]
Multi‑Head Latent Attention (MLA)
KV-cache को latent vector तक संपीड़ित करने की विधि, जो 93% तक मेमोरी बचाती है और 128,000 tokens तक के context window का उपयोग करने की अनुमति देती है। यह तकनीक लंबे ग्रंथों के साथ कुशलतापूर्वक काम करने के लिए महत्वपूर्ण है।[6]
FP8 training और Multi‑Token Prediction
V3 परिवार के मॉडलों में मिश्रित-परिशुद्धता FP8 (8-बिट फ्लोटिंग-पॉइंट संख्याएं) और एक साथ कई tokens की भविष्यवाणी का उपयोग किया जाता है, जो प्रशिक्षण और inference (निष्कर्षण) की प्रक्रियाओं को तेज़ करता है।[7]

मॉडल परिवार

  • DeepSeek LLM — 7 और 67 अरब parameters के आधार मॉडल (2023), पहला द्विभाषी (EN/ZH) रिलीज़, जिसने कई कार्यों में LLaMA‑2 70B को पीछे छोड़ा।[8]
  • DeepSeek‑Coder (2023) — प्रोग्रामिंग के लिए मॉडलों की श्रृंखला (1.3 – 33 अरब) और इसका विकास Coder‑V2 (16 अरब / 236 अरब MoE, 128K context, 338 कोडिंग भाषाएं)।[9]
  • DeepSeek‑V2 (मई 2024) — 236 अरब (21 अरब सक्रिय) MoE‑LLM जिसमें MLA है; 8.1 ट्रिलियन tokens पर प्रशिक्षित।[10]
  • DeepSeek‑V3 (दिसंबर 2024) — 671 अरब (37 अरब सक्रिय); प्रशिक्षण ≈2.8 मिलियन GPU-घंटे Nvidia H800 पर ≈$5.5 मिलियन की लागत से।[11]
  • DeepSeek‑R1 (जनवरी 2025) — तार्किक reasoning के लिए मॉडलों की श्रृंखला; R1‑0528 संस्करण AIME 2025 और LiveCodeBench पर OpenAI o3 के करीब पहुंचा।[12]
  • DeepSeek‑VL / VL2 — मल्टीमॉडल VL मॉडल (4.5 अरब सक्रिय तक) जिसमें 1024×1024 छवियों की गतिशील मोज़ेक प्रसंस्करण है।[13]
  • DeepSeek‑Math 7B — विशेष मॉडल, MATH benchmark पर 51.7% सटीकता; GPT‑4 के करीब।[14]
  • DeepSeek‑Prover‑V2 — Lean 4 में प्रमेय सिद्ध करने के लिए 671 अरब MoE; miniF2F पर 63.5%।
  • आसवित R1 मॉडल — Llama और Qwen आधारों पर 1.5 से 70 अरब parameters के खुले संस्करण।[15]

प्रमुख रिलीज़ की समयरेखा

तारीख रिलीज़ और प्रमुख विशेषताएं
2 नव 2023 DeepSeek‑Coder v1: कोड के लिए पहले open‑weight मॉडल।
29 नव 2023 DeepSeek LLM 7B/67B: द्विभाषी मॉडल, 2 ट्रिलियन tokens पर प्रशिक्षित।
11 जन 2024 DeepSeek‑MoE 16B: MoE आर्किटेक्चर की शुरुआत।
6 फ़र 2024 DeepSeek‑Math 7B: गणित के लिए विशेष मॉडल (MATH पर 51.7%)।
6 मई 2024 DeepSeek‑V2 236B: MLA और MoE आर्किटेक्चर का कार्यान्वयन।
17 जून 2024 DeepSeek‑Coder‑V2: 128K context, 338 प्रोग्रामिंग भाषाओं का समर्थन।
13 दिस 2024 DeepSeek‑VL2: MoE पर आधारित मल्टीमॉडल मॉडल।
27 दिस 2024 DeepSeek‑V3 671B: प्रमुख मॉडल, $6 मिलियन से कम में प्रशिक्षित।
20 जन 2025 DeepSeek‑R1 / R1‑Zero: RL की सहायता से प्रशिक्षित reasoning मॉडल।
27 जन 2025 Janus‑Pro: छवि निर्माण मॉडल, DALL‑E 3 से बेहतर।

प्रदर्शन और benchmark

  • DeepSeek‑V3 ने Llama 3.1 और Qwen 2.5 को पीछे छोड़ा और MMLU तथा GPQA‑Diamond पर GPT‑4 के स्तर के करीब पहुंचा।[16]
  • DeepSeek‑Coder‑V2 ने Arena‑Hard पर 72.9% हासिल किया — GPT‑4o के बराबर और Claude‑3.5‑Sonnet को छोड़कर सभी खुले मॉडलों से ऊपर।[17]
  • DeepSeek‑Math 7B — MATH पर 51.7%, जो 10 गुना छोटे आकार पर Gemini‑Ultra के करीब है।[18]
  • R1‑Zero ने केवल RL प्रशिक्षण के माध्यम से AIME 2024 pass@1 परिणाम को 15.6% से 71% तक बढ़ाया।[19]

लाइसेंसिंग और open‑source

अधिकांश मॉडल MIT या Apache 2.0 लाइसेंस के तहत वितरित किए जाते हैं, जो व्यावसायिक उपयोग की अनुमति देता है। कंपनी Hugging Face और GitHub पर weights प्रकाशित करती है, लेकिन पूर्ण dataset और प्रशिक्षण pipeline को बंद रखती है («open weight, but not full open source»)।

उद्योग पर प्रभाव

  • R1 के लॉन्च ने «$6 मिलियन में GPT‑4 श्रेणी के मॉडल» की खबरों के बीच NVIDIA, Microsoft और अन्य कंपनियों के शेयरों में एक दिन की गिरावट उत्पन्न की।[20]
  • निर्यात प्रतिबंधों के तहत Nvidia H800 चिप्स पर सफल प्रशिक्षण के प्रदर्शन ने अमेरिकी प्रतिबंधों की प्रभावशीलता पर चर्चा को प्रोत्साहित किया और चीनी AI accelerators (उदाहरण के लिए, Huawei Ascend 910B) के विकास को गति दी।

आलोचना और सीमाएं

  • सुरक्षा: HarmBench परीक्षण में R1 मॉडल ने 100% अवांछनीय अनुरोधों («jailbreak») को पास कर दिया।
  • राजनीतिक सेंसरशिप: चैट संस्करण चीनी सरकार के लिए «संवेदनशील» विषयों को फ़िल्टर करते हैं (1989 की तियानमेन चौक की घटनाएं, ताइवान की स्थिति आदि)।
  • डेटा संग्रहण: चीन में सर्वरों पर उपयोगकर्ता डेटा का संग्रहण GDPR और समान कानूनी व्यवस्थाओं का पालन करने वाले पश्चिमी निगमों द्वारा API के उपयोग को सीमित करता है।[21]

साहित्य

  • Dai, D. et al. (2024). DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture‑of‑Experts Language Models. arXiv:2401.06066.
  • Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
  • Fedus, W.; Zoph, B.; Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
  • He, L. et al. (2025). Scaling Instruction‑Tuned LLMs to Million‑Token Contexts via Hierarchical Synthetic Data Generation. arXiv:2504.12637.
  • Jegham, N. et al. (2025). Visual Reasoning Evaluation of Grok, Deepseek Janus, Gemini, Qwen, Mistral, and ChatGPT. arXiv:2502.16428.
  • Lepikhin, D. et al. (2020). GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. arXiv:2006.16668.
  • Peng, B. et al. (2023). YaRN: Efficient Context Window Extension of Large Language Models. arXiv:2309.00071.
  • Shen, Y. et al. (2025). Long‑VITA: Scaling Large Multi‑modal Models to 1 Million Tokens with Leading Short‑Context Accuracy. arXiv:2502.05177.
  • Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
  • Zhong, M. et al. (2024). Understanding the RoPE Extensions of Long‑Context LLMs: An Attention Perspective. arXiv:2406.13282.

टिप्पणियाँ

  1. ↑ DeepSeek's low-cost AI spotlights billions spent by US tech // Reuters. 2025-01-27.
  2. ↑ Who is Liang Wenfeng, the founder of DeepSeek? // Reuters. 2025-01-28.
  3. ↑ Who is Liang Wenfeng, the founder of DeepSeek? // Reuters. 2025-01-28.
  4. ↑ DeepSeek's low-cost AI spotlights billions spent by US tech // Reuters. 2025-01-27.
  5. ↑ DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model // Hugging Face. 2024.
  6. ↑ DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model // Hugging Face. 2024.
  7. ↑ DeepSeek-V3: A Parameter-Efficient MoE Large Language Model with Better Performance // arXiv. 2024.
  8. ↑ DeepSeek LLM: Scaling Open-Source Language Models with Longtermism // arXiv. 2024.
  9. ↑ DeepSeek-Coder-V2: A More Powerful and Economical Coder // arXiv. 2024.
  10. ↑ DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model // Hugging Face. 2024.
  11. ↑ DeepSeek-V3: A Parameter-Efficient MoE Large Language Model with Better Performance // arXiv. 2024.
  12. ↑ DeepSeek-R1: A 671B Parameter MoE LLM with Unprecedented Reasoning Capabilities // arXiv. 2025.
  13. ↑ GitHub - deepseek-ai/DeepSeek-VL: Towards Real-World Vision-Language Understanding // GitHub.
  14. ↑ DeepSeek-Math: Pushing the Limits of Mathematical Reasoning in Open-Source Models // arXiv. 2024.
  15. ↑ DeepSeek-R1: A 671B Parameter MoE LLM with Unprecedented Reasoning Capabilities // arXiv. 2025.
  16. ↑ DeepSeek-V3: A Parameter-Efficient MoE Large Language Model with Better Performance // arXiv. 2024.
  17. ↑ DeepSeek-Coder-V2: A More Powerful and Economical Coder // arXiv. 2024.
  18. ↑ DeepSeek-Math: Pushing the Limits of Mathematical Reasoning in Open-Source Models // arXiv. 2024.
  19. ↑ DeepSeek-R1: A 671B Parameter MoE LLM with Unprecedented Reasoning Capabilities // arXiv. 2025.
  20. ↑ DeepSeek's low-cost AI spotlights billions spent by US tech // Reuters. 2025-01-27.
  21. ↑ DeepSeek's low-cost AI spotlights billions spent by US tech // Reuters. 2025-01-27.

यह भी देखें

  • OpenAI के बड़े भाषा मॉडल
  • Mixture-of-Experts
Retrieved from "https://systems-analysis.info/int/index.php?title=DeepSeek_(HI)&oldid=1603"