Qwen (Alibaba) — 通義千問

From Systems analysis Wiki
Jump to navigation Jump to search

Qwen (中国語: 通義千問、Tongyi Qianwen) は、アリババグループのクラウドコンピューティング部門であるAlibaba Cloudによって開発された大規模言語モデル (LLM) のファミリーです[1]。Qwenモデルは、中国のテクノロジー大手による人工知能分野への重要な貢献となりました。最初のバージョンは2023年4月にベータ版として発表され、2023年9月に一般公開されました[1]。

Qwenファミリーは急速な進化を遂げ、オープンソースのソリューションと、より強力なプロプライエタリなバージョンの両方を市場に提供しています。Qwenの主な特徴には、幅広いモデルサイズ（数億から数千億パラメータ）、高度なマルチモーダル機能（テキスト、画像、音声、動画の処理）、多数の言語のサポート、そして専門家混合（MoE）や複雑な問題を解決するための「思考」モードといった革新的なアーキテクチャソリューションが含まれます[2]。

グローバル市場において、QwenはOpenAI、Meta、Anthropic、Mistral AIの主要モデルに対する有力な競合相手として位置づけられています。Alibaba Cloudの戦略は、高性能とアクセシビリティの両方を重視しており、これは主にApache 2.0ライセンスの下でオープンモデルを定期的にリリースすることに表れています[3]。

歴史と発展

Qwenファミリーの発展は、オープンソースコミュニティと商用ユーザーの両方を対象とした、迅速なペースと戦略的な決定によって特徴づけられます。LLaMAに近い初期アーキテクチャから、Alibaba Cloudは複雑なMoEアーキテクチャや高度なマルチモーダルシステムなど、独自のソリューション開発へと移行しました。

Qwenモデルの主なリリース
リリース日 モデル パラメータ数（十億） 主な特徴 ライセンス
2023年8月 Qwen-7B 7 初のオープンモデル。約2.4兆トークンで事前学習。コンテキストウィンドウ32kトークン[4]。 Tongyi Qianwen License（商用利用には許可が必要）[5]
2023年9月 Qwen-14B 14 約3.0兆トークンで学習。複雑なタスクでの精度が向上。コンテキストウィンドウ8k[6]。 Tongyi Qianwen License
2023年11月 Qwen-72B 72 約3.0兆トークンで学習されたフラッグシップモデル。コンテキスト32k。当時の最高レベルのモデルに匹敵するパフォーマンス。 Tongyi Qianwen License
2023年11月 Qwen-1.8B 1.8 ローカル展開向けのコンパクトモデル。約2.2兆トークンで事前学習。コンテキスト32k。 Tongyi Qianwen License
2024年6月/9月 Qwen 2 0.5–72 第2世代。約7兆トークンで学習。MoEモデル（例: 57B-A14B）を導入。YaRN技術によりコンテキスト長を128kに拡張[7]。 Apache 2.0（ほとんどのモデル）
2024年9月 Qwen 2.5 3–32 中間アップデート。データセットを約18兆トークンに拡張。コードと数学の問題解決能力が向上[8]。 Apache 2.0（72Bを除く）
2024年11月 QwQ-32B (Preview) 32 複雑なステップバイステップの推論のための実験的モデル「Qwen with Questions」。コンテキスト32k。 Apache 2.0（重みのみ）
2025年1月 Qwen2.5-VL 3–72 マルチモーダルモデル（テキスト＋画像）。任意解像度の画像を分析。コンテキスト最大128k[9]。 Apache 2.0（72Bを除く）
2025年3月 Qwen2.5-Omni-7B 7 ユニバーサルマルチモーダルモデル：入力（テキスト、画像、動画、音声）、出力（テキスト、音声）。「Thinker-Talker」アーキテクチャ[10]。 Apache 2.0
2025年4月 Qwen 3 0.6–235 (MoE) 第3世代。119言語の約36兆トークンで学習。MoEバリアント（30B-A3B、235B-A22B）。組み込みの「思考プロセス」モード（<think>）。コンテキスト128k[11]。 Apache 2.0（全モデル）

アーキテクチャと技術的特徴

Qwenモデルは、LLaMAやGPTと同様の「デコーダのみ」(decoder-only)のトランスフォーマーアーキテクチャに基づいています。各モデルは、マルチヘッドアテンション機構とフィードフォワードブロックを備えた自己回帰型デコーダです。

主要なアーキテクチャコンポーネント

  • 基本要素: Qwenでは、現代のLLMで標準的なソリューションが採用されています。学習の安定性のための正規化RMSNormや、性能向上のための全結合層における活性化関数SwiGLUなどです[4]。
  • 位置エンコーディング: トークンの位置情報をエンコードするためにRotary Positional Embeddings (RoPE)が使用されており、これにより長いシーケンスを効率的に処理できます[8]。
  • 効率的なアテンション: アテンション機構では、計算の高速化とメモリ節約のためにFlashAttentionアルゴリズムが採用されています[2]。

高密度モデルと専門家混合 (MoE)

Qwenファミリーには、2種類のアーキテクチャを持つモデルが含まれます。

  • 高密度モデル (Dense): 各トークンの処理時に、モデルの全パラメータがアクティブになります。例: Qwen-72B、Qwen2.5-32B。これらのモデルは展開が容易ですが、サイズが大きくなるにつれてより多くの計算リソースを必要とします[11]。
  • 専門家混合 (Mixture-of-Experts, MoE) モデル: これらのモデルでは、1つの大きな全結合層の代わりに、複数のより小さく特化した「エキスパート」が使用されます。各トークンに対して、特別なルーター層（ゲートネットワーク）が処理のためにエキスパートの小さなサブセットを動的に選択します。これにより、推論時の計算コストを大幅に削減しつつ、膨大な総パラメータ数を持つモデルを作成できます。
    • Qwen2-57B-A14B は、総パラメータ数が570億ですが、各リクエストでアクティブになるのは140億パラメータのみです[7]。
    • Qwen3-235B-A22B は、総パラメータ数が2350億で、そのうち220億がアクティブになります[11]。

長文コンテキストのための革新

長文コンテキストのサポートは、Qwenの強みの1つです。

  • 初期のモデルは最大32kトークンをサポートしていました。
  • Qwen 2世代では、コンテキストウィンドウが128kトークンに拡張されました。これは、品質を大幅に損なうことなくコンテキストを拡張できるYaRN (Yet Another RoPE Extension)手法によるものです[7]。
  • 実験的なモデルQwen2.5-Turboは、最大100万トークンのコンテキストでの動作を実証しました[2]。

Qwen 3における「Thinking Mode」

Qwenの第3世代では、「ハイブリッド思考」(hybrid thinking) メカニズムが実装されています。モデルは、最終的な回答を出す前に、思考の連鎖 (chain-of-thought) を明示的に形成することができます。

  • デフォルトでは、Qwen 3は出力に特別な<think>...</think>ブロックを埋め込み、そこでステップバイステップの論理的な推論を示します。
  • ユーザーは、プロンプトに/no_thinkコマンドを追加することで、このモードを無効にできます。

このメカニズムは、多段階の推論を必要とする複雑な問題を解決するモデルの能力を向上させます[3]。

多言語トークナイザ

Qwenは、OpenAI GPT-4のBPE語彙（cl100k）をベースに、中国語やその他の言語向けに最適化された拡張トークン語彙（約151,000トークン）を使用しています。これにより、漢字、ラテン文字、プログラムコードを効率的にエンコードし、モデルの多言語能力を向上させています[4]。

マルチモーダル機能

Qwenファミリーはマルチモーダルの方向に積極的に発展しており、さまざまな種類のデータを扱えるモデルを提供しています。

  • Qwen-VL: ビジョントランスフォーマー（画像処理用）を言語モデルと組み合わせることで、画像に関する質問に答えたり、説明を生成したりできます。Qwen2.5-VLバージョンは、任意の解像度の画像を分析し、構造化データ（例えば、表やフォームから）を抽出することができます[9]。
  • Qwen-Audio: 音声情報を処理するための特化モデルで、音声、音楽、その他の音を認識・生成することができます[12]。
  • Qwen2.5-Omni: テキスト、画像、音声、動画を同時に認識し、テキストまたは自然な音声でストリーミングモードで応答を生成する、ユニバーサルなend-to-endマルチモーダルモデルです。その基盤には「Thinker-Talker」アーキテクチャがあり、「Thinker」（LLM）がテキストコンテンツを生成し、「Talker」（2トラック自己回帰モデル）が音声を合成します[10]。
  • 特化モデル: Qwen-Coder（プログラミング）やQwen-Math（数学問題解決）など、特定のタスクに特化したモデルもリリースされています。

学習データと規模

Qwenモデルは、インターネットのテキスト、書籍、科学論文、プログラムコード、数学データなど、非常に大規模なデータコーパスで学習されます。

  • Qwen 1.0 (7B): 約2.4兆トークン。
  • Qwen 1.0 (72B): 約3.0兆トークン。
  • Qwen 2.0: 約7兆トークン。
  • Qwen 2.5: 約18兆トークン。
  • Qwen 3.0: 119の言語と方言をカバーする約36兆トークン。

データ品質を向上させるため、高度なフィルタリング手法や、特に数学やプログラミングなどのドメインで高品質な合成データの生成が用いられています[8]。

ライセンスと可用性

Qwenモデルのライセンスポリシーは時間とともに進化してきました。

  • 初期モデル (Qwen 1): 独自のTongyi Qianwen Licenseの下で配布されました。これは学術利用は許可していましたが、商用利用には申請と別途許可が必要でした[5]。
  • 後期モデル (Qwen 2, 2.5, 3): 第2世代以降、開発者はよりオープンなポリシーに移行しました。新しいモデルのほとんどは、寛容なApache License 2.0の下でリリースされ、科学研究プロジェクトと商用プロジェクトの両方で自由に使用できます[7]。Qwen 3ファミリーのリリースに伴い、この世代のすべてのモデルは追加の制限なしにApache 2.0の下で完全にオープンになりました[3]。
  • プロプライエタリモデルおよび制限付きモデル: オープン化への全体的な傾向にもかかわらず、最大規模または戦略的に重要なモデル（例: Qwen2.5-Max, Qwen2.5-VL-72B）はプロプライエタリであり、Alibaba Cloudの有料APIを介して利用可能であるか、より厳格な研究ライセンスの下で配布されています。

競合他社との比較とパフォーマンス

Qwenモデルは、競争の激しい市場で積極的に位置づけられており、世界の主要企業の開発と定期的に比較されています。

  • vs. Llama (Meta): 技術レポートでは、Qwenは同規模のLlamaモデルを上回る性能をしばしば示しています。例えば、Qwen2-72Bは、Llama-3-70Bと比較してMMLU、HumanEval、GSM8Kのベンチマークでより良い結果を示しています。
  • vs. GPT (OpenAI): Qwenのフラッグシップモデルは、GPTモデルとの差を縮めることを目指しています。Alibaba Cloudは、Qwen2.5-Maxが一部の学術ベンチマークでGPT-4oを上回り、Qwen2-72B-InstructがGPT-4-Turboと競争力があることを示していると主張しています。
  • vs. Mistral AI: 両社はオープンモデルに重点を置いています。テストによると、Qwen2-72Bは主要なベンチマークでMixtral-8x22Bを上回っています[7]。

ベンチマーク結果

Qwenフラッグシップモデルと競合他社のパフォーマンス比較（2024年半ばのデータ）[7]
モデル MMLU (5-shot) HumanEval (0-shot) GSM8K (8-shot) MT-Bench
Qwen2-72B (ベース) 84.2 64.6 89.5 N/A
Qwen2-72B-Instruct 82.3 86.0 93.2 9.12
Llama-3-70B (ベース) 79.5 48.2 83.0 N/A
Llama-3-70B-Instruct 82.0 81.7 93.0 8.95
Mixtral-8x22B (ベース) 77.8 46.3 83.7 N/A
Mixtral-8x22B-Instruct 74.0 73.8 89.1 8.66

注: N/A — 該当なし、または指定された出典にデータが存在しない場合。

エコシステムと応用

Qwenファミリーはさまざまな製品やプラットフォームに統合され、その周りに発展し続けるエコシステムを形成しています。

  • Alibaba Cloudプラットフォーム: 特に最も強力なプロプライエタリバージョンへのアクセスは、Model StudioのAPIインターフェースを介して提供されます。PAI-EAS (Platform for AI - Elastic Algorithm Service)プラットフォームでは、Qwenモデルの展開、ファインチューニング、カスタマイズが可能です。
  • オープンソースコミュニティ: モデルのオープンバージョン、その重み、コードはHugging Face、ModelScope、GitHubなどのプラットフォームで積極的に公開されており[6]、世界中の研究者や開発者による広範な普及と利用を促進しています。
  • 応用: モデルは、コンテンツ生成やデータ分析からAIエージェントの作成まで、幅広いタスクに使用されています。例えば、Qwen3モデルはModel Context Protocol (MCP)をサポートしており、これにより他のアプリケーションやツールとより効果的に連携できます。

外部リンク

参考文献

参考文献

  • Su, J.; et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
  • Dao, T.; et al. (2022). FlashAttention: Fast and Memory‑Efficient Exact Attention with IO‑Awareness. arXiv:2205.14135.
  • Bai, Jinze; et al. (2023). Qwen Technical Report. arXiv:2309.16609.
  • Peng, B.; et al. (2023). YaRN: Efficient Context Window Extension of Large Language Models. arXiv:2309.00071.
  • Qwen Team (2024). Qwen2 Technical Report. arXiv:2407.10671.
  • Qwen Team (2024). Qwen2‑Audio Technical Report. arXiv:2407.10759.
  • Qwen Team (2025). Qwen2.5 Technical Report. arXiv:2412.15115.
  • Bai, Jinze; et al. (2025). Qwen2.5‑VL: A Versatile Vision‑Language Model for Real‑World Agent Tasks. arXiv:2502.13923.
  • Wang, Wen; et al. (2025). Qwen2.5‑Omni: A Streaming End‑to‑End Multimodal Model. arXiv:2503.20215.
  • Yang, An; et al. (2025). Qwen3 Technical Report. arXiv:2505.09388.

脚注

  1. ↑ 1.0 1.1 “Qwen”. In Wikipedia [1]
  2. ↑ 2.0 2.1 2.2 “Qwen Models: Alibaba's Next-Generation AI Family for Text, Vision, and Beyond”. Inferless. [2]
  3. ↑ 3.0 3.1 3.2 “Qwen 3 offers a case study in how to effectively release a model”. Simon Willison's Weblog. [3]
  4. ↑ 4.0 4.1 4.2 Bai, Jinze; et al. (2023). Qwen Technical Report. arXiv:2309.16609.
  5. ↑ 5.0 5.1 “Qwen/Qwen-7B”. Hugging Face. [4]
  6. ↑ 6.0 6.1 “GitHub - QwenLM/Qwen: The official repo of Qwen”. GitHub. [5]
  7. ↑ 7.0 7.1 7.2 7.3 7.4 7.5 Qwen Team (2024). Qwen2 Technical Report. arXiv:2407.10671.
  8. ↑ 8.0 8.1 8.2 Qwen Team (2025). Qwen2.5 Technical Report. arXiv:2412.15115.
  9. ↑ 9.0 9.1 Bai, Jinze; et al. (2025). Qwen2.5-VL: A Versatile Vision-Language Model for Real-World Agent Tasks. arXiv:2502.13923.
  10. ↑ 10.0 10.1 Wang, Wen; et al. (2025). Qwen2.5-Omni: A Streaming End-to-End Multimodal Model. arXiv:2503.20215.
  11. ↑ 11.0 11.1 11.2 Yang, An; et al. (2025). Qwen3 Technical Report. arXiv:2505.09388.
  12. ↑ Gao, Shidong; et al. (2024). Qwen2-Audio Technical Report. arXiv:2407.10759.
Retrieved from "https://systems-analysis.info/int/index.php?title=Qwen_(Alibaba)_—_通義千問&oldid=6100"