Kimi (Moonshot AI) (VI)

Kimi (dòng mô hình Moonshot AI) — dòng mô hình ngôn ngữ lớn (Large Language Model, LLM) được phát triển bởi công ty Trung Quốc Moonshot AI (Bắc Kinh, Trung Quốc) cho các nhiệm vụ sinh văn bản và đa phương thức, lập trình và hệ thống tác nhân (agentic systems — các hệ thống có khả năng lập kế hoạch tự chủ, suy luận và hành động bằng cách sử dụng các công cụ bên ngoài). Dòng mô hình bao gồm các mô hình văn bản và đa phương thức với kiến trúc Mixture-of-Experts (MoE, hỗn hợp chuyên gia) ở quy mô khoảng 1 nghìn tỷ tham số và tập con được kích hoạt khoảng 32 tỷ tham số trên mỗi token. Đặc điểm quan trọng của dòng mô hình là định hướng vào hành vi tác nhân (lập kế hoạch nhiều bước với lời gọi công cụ bên ngoài) và hỗ trợ ngữ cảnh dài đến 256 000 token trong các phiên bản Kimi K2 và Kimi K2.5.

Các mô hình của dòng Kimi được phân phối cả dưới dạng trọng số mở (open-weight) trên nền tảng Hugging Face theo giấy phép MIT có sửa đổi, lẫn thông qua API độc quyền của nền tảng Moonshot AI Open Platform.

Lịch sử và bối cảnh

Thành lập Moonshot AI

Moonshot AI được thành lập vào tháng 3 năm 2023 tại Bắc Kinh bởi Yang Zhilin (CEO), Zhou Xinyu và Wu Yuxin — những cựu sinh viên của Đại học Thanh Hoa (Tsinghua University). Yang Zhilin trước đây từng làm việc tại Google Brain và Meta, tham gia nghiên cứu trong lĩnh vực thị giác máy tính và suy luận. Công ty nhận được tài trợ từ Alibaba (vòng trị giá 1 tỷ đô la Mỹ, tháng 2 năm 2024), Tencent và các nhà đầu tư khác.

Niên đại các phiên bản quan trọng

• Tháng 10–11 năm 2023 — ra mắt chatbot Kimi với hỗ trợ ngữ cảnh lên đến 128 nghìn token (đến 200 nghìn ký tự tiếng Trung). Các phiên bản đầu tiên sử dụng các mô hình độc quyền với thông tin kỹ thuật được tiết lộ hạn chế.
• Tháng 3 năm 2024 — mở rộng ngữ cảnh lên 2 triệu ký tự trong phiên bản beta.
• Tháng 1 năm 2025 — phát hành Kimi k1.5 — mô hình đa phương thức với huấn luyện tăng cường theo quy mô (Reinforcement Learning, RL), được công bố là có hiệu suất tương đương OpenAI o1 trong các nhiệm vụ toán học, lập trình và suy luận đa phương thức. Ngữ cảnh lên đến 128 nghìn token.
• Tháng 4 năm 2025 — giới thiệu Kimi-VL — mô hình MoE đa phương thức mã nguồn mở (vision-language model, VLM) với bộ mã hóa hình ảnh MoonViT (~400 triệu tham số) và ~2,8 tỷ tham số hoạt động trong bộ giải mã. Báo cáo kỹ thuật được công bố trên arXiv.
• Tháng 7 năm 2025 — phát hành Kimi K2 — mô hình MoE mở chính với 1 nghìn tỷ tham số và 32 tỷ tham số hoạt động. Báo cáo kỹ thuật được công bố trên arXiv. Mô hình giữ vị trí đầu bảng trong số các mô hình mở trên LMSYS Chatbot Arena tại thời điểm phát hành (hơn 3000 phiếu).
• Tháng 9 năm 2025 — cập nhật Kimi-K2-Instruct-0905 với ngữ cảnh được mở rộng lên 256 nghìn token và khả năng lập trình tác nhân được cải thiện.
• Tháng 11 năm 2025 — phát hành Kimi K2 Thinking — phiên bản với suy luận từng bước được tăng cường (chain-of-thought) và hỗ trợ 200–300 lời gọi công cụ (tool calls) liên tiếp.
• Tháng 1 năm 2026 — giới thiệu Kimi K2.5 — mô hình MoE đa phương thức với tính đa phương thức gốc và cơ chế Agent Swarm (điều phối song song các tác nhân con).

Song song với việc phát triển mô hình, năm 2024 đã ra mắt dịch vụ suy luận (inference) riêng Mooncake — kiến trúc tách biệt tập trung vào KVCache để phục vụ LLM với ngữ cảnh dài.

Cơ sở lý thuyết và kiến trúc

Kiến trúc Mixture-of-Experts

Các mô hình của dòng Kimi K2 và K2.5 triển khai kiến trúc Transformer với Mixture-of-Experts trong các lớp riêng biệt. Khối transformer tiêu chuẩn là tổ hợp của các lớp chú ý đa đầu (Multi-Head Attention, MHA) và MLP theo vị trí (perceptron nhiều lớp) với các kết nối dư (residual connections):

${𝐇}^{\prime }=\mathrm{M}\mathrm{H}\mathrm{A}(𝐇)+𝐇,{𝐇}^{\ast }=\mathrm{M}\mathrm{L}\mathrm{P}({𝐇}^{\prime })+{𝐇}^{\prime },$

trong đó $𝐇\in {ℝ}^{L\times d}$ — biểu diễn token đầu vào, $L$ — độ dài chuỗi, $d$ — kích thước trạng thái ẩn.

Trong lớp MoE, thay vì một MLP, một tập hợp các chuyên gia $\{E_i{\}}_{i=1}^N$ được sử dụng, mỗi chuyên gia là một MLP riêng biệt với tham số ${\theta }_i$. Bộ định tuyến (gating network) chọn một tập con các chuyên gia cho mỗi token. Đầu ra của lớp MoE cho token với biểu diễn $𝐡$ được xác định là:

$\mathrm{M}\mathrm{o}\mathrm{E}(𝐡)=\sum _{i\in 𝒮(𝐡)}{g}_i(𝐡)E_i(𝐡),$

trong đó $𝒮(𝐡)\subset \{1,\dots ,N\}$ — tập hợp các chuyên gia được chọn cho token đã cho, $g_i(𝐡)$ — trọng số chuẩn hóa của bộ định tuyến, $\sum _{i\in 𝒮}{g}_i=1$. Hàm định tuyến chọn các chuyên gia thông qua phép toán TopK:

$g(𝐡)=\mathrm{T}\mathrm{o}\mathrm{p}\mathrm{K}(\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(𝐡\cdot W_g)),$

trong đó $W_g$ — ma trận định tuyến có thể học được. Cơ chế này cho phép mở rộng quy mô tổng số tham số với số lượng tham số được kích hoạt hạn chế trên mỗi token.

Siêu tham số kiến trúc Kimi K2 / K2.5

Tham số	Giá trị
Loại kiến trúc	Transformer với Mixture-of-Experts
Tổng số tham số	1,04 nghìn tỷ
Tham số hoạt động trên mỗi token	32 tỷ
Số lớp	61 (1 lớp dày + 60 lớp MoE)
Kích thước trạng thái ẩn	7168
Số đầu chú ý	64
Số chuyên gia	384 (8 được chọn trên token + 1 chung)
Kích thước trạng thái ẩn của chuyên gia (MoE hidden size)	2048
Kích thước từ điển	160 000 token
Hàm kích hoạt	SwiGLU
Cơ chế chú ý	Multi-head Latent Attention (MLA)
Ngữ cảnh tối đa	256 000 token (mở rộng qua YaRN)
Bộ mã hóa hình ảnh (K2.5)	MoonViT-3D, ~400 triệu tham số

Độ thưa (tỷ lệ tổng số chuyên gia so với số chuyên gia được kích hoạt) là 48:1 (384 chuyên gia, 8 hoạt động), điều này đảm bảo giảm đáng kể chi phí tính toán so với mô hình dày (dense) cùng quy mô.

Cơ chế Multi-head Latent Attention (MLA)

Các mô hình của dòng Kimi K2/K2.5 sử dụng cơ chế Multi-head Latent Attention (MLA) — một biến thể của cơ chế chú ý đa đầu tiêu chuẩn, nhằm tăng hiệu quả và khả năng mở rộng. Cơ chế chú ý tiêu chuẩn cho một lớp được tính như sau:

$\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(𝐐,𝐊,𝐕)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{𝐐{𝐊}^{\mathrm{\top }}}{\sqrt{d_k}}\right)𝐕,$

trong đó $𝐐,𝐊,𝐕\in {ℝ}^{L\times d_k}$ — ma trận truy vấn, khóa và giá trị. Trong MLA, các biểu diễn tiềm ẩn được đưa vào, nơi các truy vấn và khóa được chiếu vào, điều này làm giảm chiều của các phép toán trung gian và cho phép giảm dung lượng KV-cache. Cách tiếp cận tương tự như cơ chế được sử dụng trong DeepSeek-V3.

Bộ tối ưu hóa MuonClip và QK-clip

Để huấn luyện mô hình Kimi K2, bộ tối ưu hóa MuonClip đã được đề xuất — một biến thể của bộ tối ưu hóa Muon (bộ tối ưu hóa động lượng với chuẩn hóa Newton-Schulz) kết hợp kỹ thuật QK-clip để ổn định quá trình huấn luyện các mô hình ngôn ngữ lớn với kiến trúc MoE.

QK-clip áp dụng các ràng buộc lên logit chú ý $𝐐{𝐊}^{\mathrm{\top }}$ thông qua phép cắt (clipping). Đối với mỗi đầu chú ý $h$, logit tối đa được xác định:

$S_h^{max}=\frac{1}{\sqrt{d}}\underset{i,j}{max}(Q_h^i(K_h^j{)}^{\mathrm{\top }}),$

và hệ số tỷ lệ được tính:

${\gamma }_h=min(1,\frac{\tau }{S_h^{max}}),$

trong đó $\tau =100$ — siêu tham số ngưỡng, $d$ — kích thước đầu chú ý. Hệ số ${\gamma }_h$ được áp dụng để tỷ lệ trọng số $W_q,W_k$ nếu logit tối đa vượt quá ngưỡng. Điều này giới hạn phạm vi giá trị logit trước softmax và giảm nguy cơ xảy ra các đột biến hàm mất mát (loss spikes) khi huấn luyện ở quy mô lớn.

Theo tác giả, quá trình tiền huấn luyện Kimi K2 trên 15,5 nghìn tỷ token với MuonClip diễn ra mà không ghi nhận bất kỳ đột biến hàm mất mát nào (zero loss spikes).

Tính đa phương thức và MoonViT

Các mô hình Kimi K2.5 và Kimi-VL sử dụng bộ mã hóa hình ảnh MoonViT (trong phiên bản K2.5 — MoonViT-3D) với khoảng 400 triệu tham số, được xây dựng trên nền SigLIP-SO-400M với NaViT-packing (hỗ trợ độ phân giải đầu vào hình ảnh biến đổi) và phần mở rộng 3D để xử lý video (nhóm theo 4 khung hình).

Bộ mã hóa hình ảnh chuyển đổi hình ảnh và video đầu vào thành chuỗi token hình ảnh. Đặt $𝐗\in {ℝ}^{H\times W\times 3}$ — hình ảnh đầu vào, ${\Phi }_{\text{vis}}$ — bộ mã hóa hình ảnh:

${𝐙}_{\text{vis}}={\Phi }_{\text{vis}}(𝐗)\in {ℝ}^{L_v\times d_v},$

tiếp theo thông qua chiếu tuyến tính (MLP hai lớp) $𝐏\in {ℝ}^{d_v\times d}$:

${𝐇}_{\text{vis}}={𝐙}_{\text{vis}}𝐏,$

trong đó $d$ — kích thước không gian ẩn của phần ngôn ngữ của mô hình. Trong chế độ đa phương thức, ${𝐇}_{\text{vis}}$ được nối với các token văn bản và đưa vào transformer.

Khác với các sơ đồ hai giai đoạn (thêm bộ điều hợp hình ảnh vào mô hình văn bản), K2.5 được huấn luyện trên dữ liệu hỗn hợp hình ảnh-văn bản từ đầu tiền huấn luyện (joint text-vision pre-training), với tỷ lệ token hình ảnh thấp (~10%) trong các giai đoạn đầu và tăng dần. Tổng khối lượng — khoảng 15 nghìn tỷ token hình ảnh-văn bản hỗn hợp.

Tiền huấn luyện và hậu huấn luyện

Tiền huấn luyện

Kimi K2 được tiền huấn luyện trên 15,5 nghìn tỷ token (văn bản web, mã, toán học, kiến thức bách khoa) sử dụng bộ tối ưu hóa MuonClip. Không có đột biến hàm mất mát (loss spike) nào được ghi nhận trong suốt quá trình tiền huấn luyện.

Kimi K2.5 đã trải qua tiền huấn luyện liên tục (continual pre-training) từ điểm kiểm tra K2 trên ~15 nghìn tỷ token hình ảnh-văn bản hỗn hợp bổ sung với tối ưu hóa chung các phương thức (joint pre-training). Riêng 1 nghìn tỷ token được thực hiện huấn luyện độc lập cho bộ mã hóa hình ảnh và một giai đoạn long-context mid-training bổ sung để mở rộng ngữ cảnh.

Hậu huấn luyện

Hậu huấn luyện của các mô hình dòng K2 bao gồm nhiều giai đoạn:

Supervised Fine-Tuning (SFT, tinh chỉnh có giám sát):

• Quỹ đạo tác nhân tổng hợp (agentic data synthesis) — tạo thông số kỹ thuật công cụ, mô phỏng tương tác với môi trường, xác minh kết quả.
• Đối với K2.5, thêm vào đó là zero-vision SFT — SFT văn bản kích hoạt khả năng hình ảnh mà không sử dụng trực tiếp hình ảnh trong giai đoạn fine-tuning.

Reinforcement Learning (RL, học tăng cường):

• Kết hợp phần thưởng có thể xác minh (Reinforcement Learning with Verifiable Rewards, RLVR) cho các nhiệm vụ toán học, lập trình và an toàn.
• Tự đánh giá theo tiêu chí (self-critique rubric rewards) — sử dụng các bộ đánh giá LLM để tự động đánh giá chất lượng các kịch bản tác nhân.
• Đối với K2.5 — RL đa phương thức chung (joint multimodal RL).

Quantization-Aware Training (QAT):

• Kimi K2 Thinking và K2.5 hỗ trợ lượng tử hóa trọng số INT4 gốc (weight-only quantization, nhóm 32, tensor nén), được tối ưu hóa cho kiến trúc NVIDIA Hopper, giúp giảm yêu cầu bộ nhớ khi suy luận.

Agent Swarm (K2.5)

Dành cho mô hình K2.5, cơ chế Agent Swarm đã được phát triển — một framework điều phối song song tự quản lý các tác nhân. Mô hình điều phối (orchestrator) tự động tạo ra các tác nhân con (thông qua các phép toán create_subagent, assign_task), phân phối các nhiệm vụ con và tổng hợp kết quả. Mỗi tác nhân con có thể tự gọi công cụ và hoạt động song song với các tác nhân con khác.

Việc huấn luyện cơ chế Agent Swarm được thực hiện thông qua Parallel-Agent Reinforcement Learning (PARL) với việc tách biệt thực thi và tối ưu hóa (decoupling execution/optimization). Theo tác giả, Agent Swarm giúp giảm độ trễ (latency) đến 4,5× so với chế độ tác nhân đơn luồng (single-agent).

Các mô hình chính của dòng

Mô hình	Loại	Tham số (tổng / hoạt động)	Ngữ cảnh, token	Đa phương thức	Ngày phát hành
Kimi k1.5	LLM, RL-scaling	không tiết lộ	128 000	Có (hạn chế)	Tháng 1 năm 2025
Kimi-VL	VLM, MoE	nhỏ gọn / ~2,8 tỷ hoạt động + 400 triệu ViT	ngữ cảnh dài	Có (hình ảnh)	Tháng 4 năm 2025
Kimi K2	LLM, MoE	1,04 nghìn tỷ / 32 tỷ	256 000	Không (văn bản)	Tháng 7 năm 2025
Kimi K2 Thinking	LLM, MoE	1,04 nghìn tỷ / 32 tỷ	256 000	Không (văn bản)	Tháng 11 năm 2025
Kimi K2.5	VLM-LLM, MoE	1,04 nghìn tỷ / 32 tỷ	256 000	Có (hình ảnh, video, PDF)	Tháng 1 năm 2026

Kimi K2

Kimi K2 — LLM Mixture-of-Experts với 1,04 nghìn tỷ tham số tổng và 32 tỷ tham số được kích hoạt trên mỗi token. Được tiền huấn luyện trên 15,5 nghìn tỷ token với bộ tối ưu hóa MuonClip. Kiến trúc bao gồm 384 chuyên gia và cơ chế MLA tương thích với ngữ cảnh dài. Mô hình tập trung vào các nhiệm vụ lập trình, suy luận toán học và các kịch bản tác nhân với các lời gọi công cụ liên tiếp.

Báo cáo kỹ thuật mô tả quy trình hậu huấn luyện nhiều giai đoạn: tổng hợp quy mô lớn dữ liệu tác nhân bằng cách mô phỏng các tương tác với công cụ; học tăng cường trong môi trường hỗn hợp các nhiệm vụ thực và tổng hợp; sử dụng các bộ đánh giá LLM để tự động đánh giá chất lượng.

Kimi K2 Thinking

Biến thể Kimi K2 Thinking được tối ưu hóa cho suy luận nhiều bước (chain-of-thought) với khả năng gọi công cụ động và hỗ trợ ngữ cảnh lên đến 256 000 token. Mô hình triển khai chế độ "Thinking" riêng biệt với trường reasoning_content được trả về rõ ràng, chứa các suy luận nội bộ. K2 Thinking hỗ trợ 200–300 lời gọi công cụ liên tiếp trong một tập tác nhân mà không có sự suy giảm đáng kể về hành vi, cũng như lượng tử hóa INT4 gốc sử dụng QAT.

Kimi-VL

Kimi-VL — MoE-VLM (vision-language model) đa phương thức mã nguồn mở, tập trung vào các nhiệm vụ hiểu hình ảnh, suy luận hình ảnh-văn bản và các cảnh thực tế. Mô hình được mô tả là kiến trúc MoE nhỏ gọn với bộ mã hóa hình ảnh MoonViT. Báo cáo kỹ thuật được công bố trên arXiv vào tháng 4 năm 2025.

Kimi K2.5

Kimi K2.5 — mô hình MoE đa phương thức ở quy mô 1,04 nghìn tỷ tham số với 32 tỷ tham số được kích hoạt, dựa trên điểm kiểm tra Kimi-K2-Base với tiền huấn luyện tiếp tục trên ~15 nghìn tỷ token hình ảnh-văn bản hỗn hợp. Mô hình hỗ trợ đầu vào hình ảnh, video, PDF và văn bản với ngữ cảnh lên đến 256 000 token.

K2.5 hỗ trợ hai chế độ suy luận chính:

• Chế độ Thinking — với reasoning_content rõ ràng và sinh nhiều bước;
• Chế độ Instant — không xuất suy luận, với độ trễ thấp hơn.

Mô hình triển khai lượng tử hóa trọng số INT4 gốc (weight-only, nhóm 32), được tối ưu hóa cho kiến trúc NVIDIA Hopper.

Kết quả chính và benchmark

Benchmark văn bản và tác nhân của Kimi K2

Kết quả được đưa ra cho Kimi-K2-Instruct ở chế độ non-thinking (không có chain-of-thought mở rộng) theo dữ liệu từ báo cáo kỹ thuật.

Benchmark	Kimi K2-Instruct	DeepSeek-V3-0324	Claude 4 Opus / Sonnet	Nguồn
SWE-Bench Verified (Pass@1)	65,8 %	38,8 %	72,5 % / 72,7 %	arXiv:2507.20534
SWE-Bench Multilingual	47,3 %	20,9 %	51,0 %	arXiv:2507.20534
LiveCodeBench v6 (Pass@1)	53,7 %	44,7 %	46,9 %	arXiv:2507.20534
Tau2-Bench (micro-avg)	66,1 %	48,8 %	66,1 %	arXiv:2507.20534
ACEBench (En)	76,5 %	75,6 %	80,1 %	arXiv:2507.20534
AIME 2025 (Avg@64)	49,5 %	33,9 %	46,7 %	arXiv:2507.20534
GPQA-Diamond (Avg@8)	75,1 %	68,2 %	74,9 %	arXiv:2507.20534

Theo tuyên bố của tác giả, các kết quả này định vị K2 trong số các mô hình mở hàng đầu ở chế độ không có thinking-expansion, đặc biệt trong các nhiệm vụ kỹ thuật và tác nhân (tính đến thời điểm công bố báo cáo).

Benchmark của Kimi-VL

Benchmark	Kimi-VL	Qwen2.5-VL-7B	GPT-4o-mini	Nguồn
MMVet (độ chính xác)	66,7 %	67,1 %	66,9 %	arXiv:2504.07491
RealWorldQA	68,1 %	68,5 %	—	arXiv:2504.07491

Các kết quả cho thấy rằng kiến trúc MoE đa phương thức nhỏ gọn đạt được mức độ tương đương với các mô hình lớn hơn với số lượng tham số hoạt động ít hơn.

Benchmark của Kimi K2.5

Kết quả được đưa ra ở chế độ Thinking (temperature = 1,0; top-p = 0,95; ngữ cảnh 256 000 token; engine vLLM; nền tảng phần cứng NVIDIA H200) theo dữ liệu từ thẻ mô hình trên nền tảng NVIDIA NIM và báo cáo kỹ thuật.

Danh mục	Benchmark	Kimi K2.5
Suy luận & Kiến thức	HLE-Full (không có công cụ)	30,1
	HLE-Full (có công cụ)	50,2
	AIME 2025	96,1
	HMMT 2025 (Feb)	95,4
	GPQA-Diamond	87,6
	MMLU-Pro	87,1
Hình ảnh & Video	MMMU-Pro	78,5
	MathVision	84,2
	MathVista (mini)	90,1
	OCRBench	92,3
	OmniDocBench 1.5	88,8
	VideoMMMU	86,6
	LongVideoBench	79,8
Lập trình	SWE-Bench Verified	76,8
	SWE-Bench Pro	50,7
	SWE-Bench Multilingual	73,0
	Terminal Bench 2.0	50,8
	PaperBench	63,5
	LiveCodeBench v6	85,0
	OJBench (C++)	57,4
Ngữ cảnh dài	Longbench v2	61,0
	AA-LCR	70,0
Tìm kiếm tác nhân	BrowseComp	60,6
	BrowseComp (Agent Swarm)	78,4
	WideSearch (iter-F1)	72,7
	DeepSearchQA	77,1

Ngoài ra, K2.5 cho thấy sự chuyển giao tích cực từ học hình ảnh sang các nhiệm vụ văn bản: +1,7% trên MMLU-Pro và +2,1% trên GPQA-Diamond so với mô hình văn bản cơ sở K2.

Đánh giá so sánh cuối cùng phụ thuộc vào lựa chọn các chỉ số và kịch bản; kết quả được đưa ra theo dữ liệu của tác giả. Việc xác thực độc lập một phần các benchmark tại thời điểm công bố còn hạn chế.

Ứng dụng

Trợ lý văn bản và tìm kiếm

Nền tảng Kimi được sử dụng như một trợ lý hỗ trợ xử lý tài liệu dài (báo cáo nghiên cứu, dữ liệu tài chính), phân tích tự động và tìm kiếm trực tuyến có tổng hợp thông tin. Moonshot AI cho biết Kimi hỗ trợ hơn 300 lời gọi công cụ (tool calls) trong một kịch bản tác nhân.

Lập trình và các nhiệm vụ kỹ thuật

Kimi K2 và K2.5 cho thấy kết quả cao trên SWE-Bench Verified, SWE-Bench Multilingual, LiveCodeBench và các benchmark lập trình khác. Các mô hình được áp dụng để tự động hóa sửa lỗi trong kho mã, tạo và tái cấu trúc mã, giải quyết các bài toán trên các hệ thống chấm bài trực tuyến (OJBench, LiveCodeBench). Báo cáo kỹ thuật K2 cho biết mô hình được huấn luyện trên tập dữ liệu tác nhân tổng hợp quy mô lớn, bao gồm các tương tác với hệ thống quản lý phiên bản, trình quản lý gói và môi trường thực thi.

Ứng dụng đa phương thức

Kimi-VL và K2.5 được thiết kế cho hỏi đáp hình ảnh (VQA) trên hình ảnh và tài liệu; hiểu tài liệu (OCRBench, OmniDocBench); phân tích video (VideoMMMU, LongVideoBench); các nhiệm vụ lập trình kết hợp theo thông số kỹ thuật hình ảnh (ví dụ: tạo giao diện theo thiết kế hình ảnh). Đối với K2.5, các kịch bản "vision-grounded coding" và "autonomous visual debugging" được mô tả, trong đó mô hình tạo mã theo mô tả hình ảnh và phân tích lặp đi lặp lại kết quả hình ảnh.

API và triển khai

Các mô hình có sẵn thông qua API của nền tảng Moonshot AI Open Platform với hỗ trợ tool calling, chế độ thinking, chế độ JSON và bộ nhớ đệm ngữ cảnh. Trọng số mở được sử dụng để triển khai cục bộ thông qua vLLM, SGLang và TensorRT-LLM. Dịch vụ Mooncake cung cấp khả năng mở rộng suy luận cho ngữ cảnh dài.

Hạn chế và các vấn đề mở

Yêu cầu về tài nguyên

Các mô hình MoE ở quy mô 1 nghìn tỷ tham số, ngay cả với 32 tỷ tham số được kích hoạt và lượng tử hóa INT4, đòi hỏi tài nguyên bộ nhớ và băng thông đáng kể. Trong các cuộc thảo luận kỹ thuật về triển khai Kimi K2.5, ước tính hàng trăm gigabyte bộ nhớ video để tải đầy đủ mô hình được đề cập; các con số cụ thể phụ thuộc vào dạng lượng tử hóa và framework (vLLM, SGLang, v.v.).

Ảo giác và chất lượng sinh văn bản

Cũng như các LLM khác, các mô hình của dòng Kimi dễ xảy ra ảo giác. Trong các báo cáo kiểm tra FACTS Grounding và FaithJudge, tỷ lệ ảo giác (hallucination rate) nằm trong khoảng 1,1–7,4% trong các kịch bản RAG. Ở chế độ non-thinking, mô hình có thể tạo ra các token dư thừa khi có thông số kỹ thuật công cụ không rõ ràng; khi bắt buộc sử dụng công cụ, hiệu suất giảm trên một số nhiệm vụ.

Sự phụ thuộc vào dữ liệu tổng hợp và quy trình RL

Quy trình tổng hợp dữ liệu tác nhân và học tăng cường dựa trên tập hợp lớn các công cụ và cảnh tổng hợp, cũng như các bộ đánh giá LLM để tự động đánh giá (self-judging). Sơ đồ như vậy đặt ra các câu hỏi mở: độ bền với sự thiên lệch (bias) của tự đánh giá; sự suy giảm tiềm ẩn khi lặp đi lặp lại nhiều lần (bootstrap); khả năng chuyển đổi các kỹ năng tác nhân sang môi trường thực tế khác với môi trường mô phỏng; ảnh hưởng của phân phối các nhiệm vụ tổng hợp đến khả năng tổng quát hóa.

Tính minh bạch và khả năng tái tạo

Một phần thông tin về thành phần dữ liệu huấn luyện, quy trình lọc, phân phối ngôn ngữ và lĩnh vực không được tiết lộ hoặc được tiết lộ hạn chế. Điều này làm khó khăn cho việc đánh giá chính xác nguồn thiên lệch, khả năng tái tạo quá trình huấn luyện và xác thực độc lập ảnh hưởng của từng thành phần (MuonClip, QK-clip) đến tính ổn định. Tính đến tháng 2 năm 2026, việc tái tạo đầy đủ quá trình huấn luyện Kimi K2 và K2.5 bởi bên thứ ba chưa được ghi nhận trong tài liệu mở.

Khía cạnh đạo đức và quy định

Trong các thẻ mô hình và báo cáo kỹ thuật, nhà phát triển nhấn mạnh rằng họ chịu trách nhiệm về đầu vào và đầu ra của mô hình; cần thêm các cơ chế bảo vệ (guardrails) và kiểm tra trên dữ liệu của trường hợp cụ thể trước khi triển khai; mô hình có thể xử lý hình ảnh và video có thể chứa dữ liệu cá nhân, và người tích hợp có nghĩa vụ tuân thủ luật pháp liên quan.

Các báo cáo kỹ thuật mô tả các đánh giá an toàn (rủi ro sinh học, hóa học, mạng) sử dụng các công cụ như Promptfoo. Các mô hình trải qua RL-alignment (căn chỉnh) với phần thưởng có thể xác minh và tự đánh giá.

Là sản phẩm của một công ty Trung Quốc, các mô hình tuân theo quy định quốc gia của Trung Quốc về AI. Tại thời điểm viết bài, không tìm thấy tài liệu quy định công khai riêng biệt nào dành riêng cho các mô hình Kimi; việc quản lý được thực hiện trong khuôn khổ các cách tiếp cận chung đối với các mô hình tạo sinh và AI trong các thẩm quyền tương ứng.

Vào tháng 2 năm 2026, công ty Anthropic tuyên bố rằng Moonshot AI (cùng với các nhà phát triển Trung Quốc khác) đã sử dụng các tài khoản giả mạo để tạo ra các tương tác với Claude nhằm mục đích chắt lọc dữ liệu để huấn luyện mô hình. Thông tin này mang tính chất khẳng định của một phía và chưa được xác nhận bởi các cuộc điều tra độc lập tại thời điểm công bố; Moonshot AI chưa công bố phản hồi chính thức.

Triển vọng và hướng nghiên cứu

Dựa trên các tài liệu đã được công bố, có thể xác định một số hướng nghiên cứu tiếp theo:

• Hệ thống tác nhân có khả năng mở rộng. Phát triển các cách tiếp cận để huấn luyện LLM như các hệ thống tác nhân sử dụng bộ công cụ tổng hợp, RL và self-judging. Mở rộng Agent Swarm cho nhiều tác nhân con hơn và các loại nhiệm vụ mới.
• Kiến trúc MoE hiệu quả. Sử dụng 1 nghìn tỷ tham số với 32 tỷ được kích hoạt và 384 chuyên gia đại diện cho một trong những phương án đánh đổi giữa quy mô và hiệu quả; các phương án thay thế với các sơ đồ định tuyến khác nhau đang được nghiên cứu.
• Tính đa phương thức gốc. Việc huấn luyện K2.5 trên dữ liệu hình ảnh-văn bản hỗn hợp từ đầu tiền huấn luyện đại diện cho cách tiếp cận "tính đa phương thức gốc", được so sánh với các sơ đồ hai giai đoạn.
• Suy luận hiệu quả và ngữ cảnh dài. Lượng tử hóa INT4 và hỗ trợ ngữ cảnh 256 000 token thúc đẩy các nghiên cứu tiếp theo trong lĩnh vực chú ý thưa, biểu diễn tiềm ẩn và bộ nhớ ngoài. Dự án Kimi Linear được mô tả riêng — cơ chế chú ý tuyến tính lai với giảm 75% KV-cache và tăng tốc độ giải mã 6 lần ở ngữ cảnh 1 triệu token.

Trong các tài liệu chính thức của Moonshot AI, không có lộ trình chi tiết nào về các phiên bản Kimi trong tương lai được công bố; các hướng được liệt kê dựa trên các nghiên cứu đã được công bố.

Xem thêm

• Kiến trúc Transformer
• DeepSeek
• Qwen

Liên kết ngoài

• https://www.moonshot.ai/ — trang web chính thức của Moonshot AI
• https://platform.moonshot.ai/ — Moonshot AI Open Platform (API)
• https://github.com/MoonshotAI/Kimi-K2.5 — kho lưu trữ GitHub của Kimi K2.5
• https://huggingface.co/moonshotai — hồ sơ Moonshot AI trên Hugging Face

Tài liệu tham khảo

• Kimi Team (2025). Kimi K2: Open Agentic Intelligence. arXiv:2507.20534. https://arxiv.org/abs/2507.20534
• Kimi Team (2026). Kimi K2.5: Visual Agentic Intelligence. arXiv:2602.02276. https://arxiv.org/abs/2602.02276
• Kimi Team (2025). Kimi k1.5: Scaling Reinforcement Learning with LLMs. arXiv:2501.12599. https://arxiv.org/abs/2501.12599
• Moonshot AI (2025). Kimi-VL Technical Report. arXiv:2504.07491. https://arxiv.org/abs/2504.07491
• Kimi Team (2025). Kimi Linear: An Expressive, Efficient Attention Architecture. arXiv:2510.26692. https://arxiv.org/abs/2510.26692
• Qin, R. et al. (2024). Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving. arXiv:2407.00079. https://arxiv.org/abs/2407.00079
• Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. https://arxiv.org/abs/1706.03762