DeepSeek — ディープシーク

From Systems analysis Wiki
Jump to navigation Jump to search

DeepSeekは、大規模言語モデル (LLM) およびマルチモーダルシステムを開発する中国の人工知能研究企業です。同社は、モデルの重みをオープンに配布していることと、その高いコストパフォーマンスで広く知られるようになり、2024年末から2025年初頭にかけてAI市場の価格調整を引き起こしました。[1]

歴史

DeepSeekの創設者は、起業家でありヘッジファンド「High‑Flyer」の共同設立者でもある梁文峰（Liang Wenfeng）です。2023年春、High‑FlyerはAI研究部門を分離し、同年5月に「DeepSeek AI」として会社化しました。2025年までに、従業員数は約160人にまで増加しました。[2] 創業当初から、同社はオープンな方針を掲げており、許容的なライセンスの下で重みを公開（「open‑weight」）し、AGIの基礎研究に注力することを宣言しています。

多くのスタートアップとは異なり、DeepSeekはHigh-FlyerのR&D予算から資金提供を受けています。創設者によれば、これにより短期的な収益化ではなく、長期的な目標に集中することが可能になっています。[3]

同社が技術および金融コミュニティで大きな反響を呼んだのは、2025年1月にモデルDeepSeek-R1をリリースした後です。GPT-4に匹敵するモデルのトレーニング費用が600万ドル未満（GPT-4の推定1億ドル以上と比較して）であったとの発表は、大手テクノロジー企業の株価を急落させ、業界に「より多くの計算量＝より良いモデル」というパラダイムを再考させました。[4]

アーキテクチャ上の特徴

Mixture‑of‑Experts (DeepSeekMoE)
DeepSeekの主力モデルの多くは、混合エキスパート（MoE）アーキテクチャを採用しています。「密な」モデルではリクエスト処理時にすべてのパラメータがアクティブになりますが、MoEモデルでは各トークンに対して特殊化されたサブネットワーク（「エキスパート」）のごく一部のみが使用されます。DeepSeekは、「共通」エキスパート、きめ細かなセグメンテーション、補助的な損失なしでの負荷分散を備えた独自のMoE実装を開発しました。これにより、数千億のパラメータの一部のみをアクティブにし、計算コストを大幅に削減できます。[5]
Multi‑Head Latent Attention (MLA)
KVキャッシュを潜在ベクトルに圧縮する手法で、メモリを最大93%節約し、最大128,000トークンのコンテキストウィンドウの使用を可能にします。この技術は、長いテキストを効率的に扱うための鍵となります。[6]
FP8 training および Multi‑Token Prediction
V3ファミリーのモデルでは、混合精度FP8（8ビット浮動小数点数）と複数トークンの同時予測が採用されており、これによりトレーニングと推論（inference）のプロセスが高速化されます。[7]

モデルファミリー

  • DeepSeek LLM — 70億および670億パラメータのベースモデル（2023年）。初のバイリンガル（英語/中国語）リリースで、多くのタスクでLLaMA‑2 70Bを上回りました。[8]
  • DeepSeek‑Coder (2023) — プログラミング用モデルのラインナップ（13億～330億）とその発展版であるCoder‑V2（160億/2360億MoE、128Kコンテキスト、338のプログラミング言語に対応）。[9]
  • DeepSeek‑V2 (2024年5月) — 2360億（210億がアクティブ）パラメータのMoE‑LLMでMLAを搭載。8.1兆トークンでトレーニング済み。[10]
  • DeepSeek‑V3 (2024年12月) — 6710億（370億がアクティブ）パラメータ。Nvidia H800で約280万GPU時間、費用約550万ドルでトレーニング。[11]
  • DeepSeek‑R1 (2025年1月) — 論理的推論（reasoning）のためのモデルライン。バージョンR1‑0528は、AIME 2025とLiveCodeBenchでOpenAI o3に迫る性能を示しました。[12]
  • DeepSeek‑VL / VL2 — 1024×1024の動的モザイク画像処理を備えたマルチモーダルVLモデル（最大45億アクティブパラメータ）。[13]
  • DeepSeek‑Math 7B — MATHベンチマークで51.7%の正解率を達成した特化モデル。GPT‑4に近い性能。[14]
  • DeepSeek‑Prover‑V2 — Lean 4での定理証明用の6710億パラメータMoEモデル。miniF2Fで63.5%のスコア。
  • 蒸留されたR1モデル — LlamaとQwenをベースにした、15億から700億パラメータのオープンバージョン。[15]

主なリリースの時系列

日付 リリースと主な特徴
2023年11月2日 DeepSeek‑Coder v1: 初のコード用オープンウェイトモデル。
2023年11月29日 DeepSeek LLM 7B/67B: 2兆トークンでトレーニングされたバイリンガルモデル。
2024年1月11日 DeepSeek‑MoE 16B: MoEアーキテクチャのデビュー。
2024年2月6日 DeepSeek‑Math 7B: 数学特化モデル（MATHで51.7%）。
2024年5月6日 DeepSeek‑V2 236B: MLAおよびMoEアーキテクチャの導入。
2024年6月17日 DeepSeek‑Coder‑V2: 128Kコンテキスト、338のプログラミング言語をサポート。
2024年12月13日 DeepSeek‑VL2: MoEベースのマルチモーダルモデル。
2024年12月27日 DeepSeek‑V3 671B: 600万ドル未満でトレーニングされたフラッグシップモデル。
2025年1月20日 DeepSeek‑R1 / R1‑Zero: RLを用いてトレーニングされた推論用モデル。
2025年1月27日 Janus‑Pro: DALL‑E 3を上回る画像生成モデル。

パフォーマンスとベンチマーク

  • DeepSeek‑V3 は、MMLUとGPQA‑DiamondにおいてLlama 3.1とQwen 2.5を上回り、GPT‑4のレベルに近づきました。[16]
  • DeepSeek‑Coder‑V2 は、Arena‑Hardで72.9%を記録。これはGPT‑4oと同等であり、Claude‑3.5‑Sonnetを除くすべてのオープンモデルを上回ります。[17]
  • DeepSeek‑Math 7B は、MATHで51.7%を達成。これは10分の1のサイズでありながらGemini‑Ultraに近い性能です。[18]
  • R1‑Zero は、RLによる学習のみで、AIME 2024 pass@1の結果を15.6%から71%に向上させました。[19]

経済性とAPI

DeepSeekは、V3およびR1モデルの公開APIを、cache-hit時の入力100万トークンあたり0.07ドルから0.14ドル、出力100万トークンあたり1.10ドルから2.19ドルの価格で提供しています。これはGPT‑4oの料金よりも最大で数十倍安価です。[20]

ライセンスとオープンソース

ほとんどのモデルは、商用利用を許可するMITライセンスまたはApache 2.0ライセンスの下で配布されています。同社はHugging FaceやGitHubで重みを公開していますが、完全なデータセットやトレーニングパイプラインは非公開としています（「open weight, but not full open source」）。

業界への影響

  • R1のリリースは、「600万ドルでGPT‑4クラスのモデル」というニュースを受け、NVIDIAやMicrosoftなどの株価を1日で下落させました。[21]
  • 輸出規制下にあるNvidia H800チップでのトレーニング成功が実証されたことで、米国の制裁措置の有効性に関する議論が活発化し、中国製AIアクセラレータ（例：Huawei Ascend 910B）の開発が加速しました。

批判と制約

  • 安全性：HarmBenchテストにおいて、R1モデルは不適切なリクエスト（「ジェイルブレイク」）を100%見逃しました。
  • 政治的検閲：チャット版では、中国政府にとって「敏感な」トピック（1989年の天安門事件、台湾の地位など）がフィルタリングされます。
  • データ保管：ユーザーデータが中国国内のサーバーに保管されるため、GDPRや同様の法的規制に従う欧米企業によるAPIの利用が制限されます。[22]

関連項目

  • OpenAIの大規模言語モデル
  • Mixture-of-Experts

参考文献

  • Dai, D. et al. (2024). DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture‑of‑Experts Language Models. arXiv:2401.06066.
  • Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
  • Fedus, W.; Zoph, B.; Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
  • He, L. et al. (2025). Scaling Instruction‑Tuned LLMs to Million‑Token Contexts via Hierarchical Synthetic Data Generation. arXiv:2504.12637.
  • Jegham, N. et al. (2025). Visual Reasoning Evaluation of Grok, Deepseek Janus, Gemini, Qwen, Mistral, and ChatGPT. arXiv:2502.16428.
  • Lepikhin, D. et al. (2020). GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. arXiv:2006.16668.
  • Peng, B. et al. (2023). YaRN: Efficient Context Window Extension of Large Language Models. arXiv:2309.00071.
  • Shen, Y. et al. (2025). Long‑VITA: Scaling Large Multi‑modal Models to 1 Million Tokens with Leading Short‑Context Accuracy. arXiv:2502.05177.
  • Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
  • Zhong, M. et al. (2024). Understanding the RoPE Extensions of Long‑Context LLMs: An Attention Perspective. arXiv:2406.13282.

脚注

  1. ↑ DeepSeek's low-cost AI spotlights billions spent by US tech // Reuters. 2025-01-27.
  2. ↑ Who is Liang Wenfeng, the founder of DeepSeek? // Reuters. 2025-01-28.
  3. ↑ Who is Liang Wenfeng, the founder of DeepSeek? // Reuters. 2025-01-28.
  4. ↑ DeepSeek's low-cost AI spotlights billions spent by US tech // Reuters. 2025-01-27.
  5. ↑ DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model // Hugging Face. 2024.
  6. ↑ DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model // Hugging Face. 2024.
  7. ↑ DeepSeek-V3: A Parameter-Efficient MoE Large Language Model with Better Performance // arXiv. 2024.
  8. ↑ DeepSeek LLM: Scaling Open-Source Language Models with Longtermism // arXiv. 2024.
  9. ↑ DeepSeek-Coder-V2: A More Powerful and Economical Coder // arXiv. 2024.
  10. ↑ DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model // Hugging Face. 2024.
  11. ↑ DeepSeek-V3: A Parameter-Efficient MoE Large Language Model with Better Performance // arXiv. 2024.
  12. ↑ DeepSeek-R1: A 671B Parameter MoE LLM with Unprecedented Reasoning Capabilities // arXiv. 2025.
  13. ↑ GitHub - deepseek-ai/DeepSeek-VL: Towards Real-World Vision-Language Understanding // GitHub.
  14. ↑ DeepSeek-Math: Pushing the Limits of Mathematical Reasoning in Open-Source Models // arXiv. 2024.
  15. ↑ DeepSeek-R1: A 671B Parameter MoE LLM with Unprecedented Reasoning Capabilities // arXiv. 2025.
  16. ↑ DeepSeek-V3: A Parameter-Efficient MoE Large Language Model with Better Performance // arXiv. 2024.
  17. ↑ DeepSeek-Coder-V2: A More Powerful and Economical Coder // arXiv. 2024.
  18. ↑ DeepSeek-Math: Pushing the Limits of Mathematical Reasoning in Open-Source Models // arXiv. 2024.
  19. ↑ DeepSeek-R1: A 671B Parameter MoE LLM with Unprecedented Reasoning Capabilities // arXiv. 2025.
  20. ↑ DeepSeek Explained: Why This AI Model Is Gaining Popularity // DigitalOcean.
  21. ↑ DeepSeek's low-cost AI spotlights billions spent by US tech // Reuters. 2025-01-27.
  22. ↑ DeepSeek's low-cost AI spotlights billions spent by US tech // Reuters. 2025-01-27.
Retrieved from "https://systems-analysis.info/int/index.php?title=DeepSeek_—_ディープシーク&oldid=1622"