Kimi (Moonshot AI) (SV)

Kimi (modellserien Moonshot AI) — en serie stora språkmodeller (Large Language Model, LLM), utvecklade av det kinesiska företaget Moonshot AI (Peking, Kina) för uppgifter inom textgenerering och multimodal generering, programmering samt agentbaserade system (agentic systems — system med förmåga till autonom planering, resonemang och handling med hjälp av externa verktyg). Familjen inkluderar text- och multimodala modeller med Mixture-of-Experts-arkitektur (MoE) i storleksordningen 1 biljon parametrar och ett aktiverat delmängd i storleksordningen 32 miljarder parametrar per token. Ett viktigt kännetecken för serien är inriktningen på agentbeteende (flerstegplanering med anrop av externa verktyg) och stöd för lång kontext upp till 256 000 token i versionerna Kimi K2 och Kimi K2.5.

Modellerna i Kimi-serien distribueras både med öppna vikter (open-weight) på plattformen Hugging Face under en modifierad MIT-licens, och via det proprietära API:et på Moonshot AI Open Platform.

Historia och förutsättningar

Grundandet av Moonshot AI

Moonshot AI grundades i mars 2023 i Peking av Yang Zhilin (CEO), Zhou Xinyu och Wu Yuxin — alumner från Tsinghua University. Yang Zhilin hade tidigare arbetat på Google Brain och Meta och deltagit i forskning inom datorseende och resonemang. Företaget erhöll finansiering från Alibaba (investeringsrunda på 1 miljard dollar, februari 2024), Tencent och andra investerare.

Tidslinje över viktiga releaser

• Oktober–november 2023 — lansering av chatboten Kimi med stöd för kontext upp till 128 000 token (upp till 200 000 kinesiska tecken). De första versionerna använde proprietära modeller med begränsad teknisk transparens.
• Mars 2024 — utökning av kontexten till 2 miljoner tecken i betaversion.
• Januari 2025 — lansering av Kimi k1.5 — en multimodal modell med skalad Reinforcement Learning (RL), presenterad som jämförbar i prestanda med OpenAI o1 inom matematik, programmering och multimodalt resonemang. Kontext upp till 128 000 token.
• April 2025 — presentation av Kimi-VL — en öppen multimodal MoE-modell (vision-language model, VLM) med den visuella encodern MoonViT (~400 miljoner parametrar) och ~2,8 miljarder aktiva parametrar i dekodern. Teknisk rapport publicerades på arXiv.
• Juli 2025 — lansering av Kimi K2 — den primära öppna MoE-modellen med 1 biljon parametrar och 32 miljarder aktiva parametrar. Teknisk rapport publicerades på arXiv. Modellen innehade förstaplatsen bland öppna modeller på LMSYS Chatbot Arena vid lanserings­tillfället (över 3 000 röster).
• September 2025 — uppdatering Kimi-K2-Instruct-0905 med utökad kontext till 256 000 token och förbättrad agentbaserad kodning.
• November 2025 — lansering av Kimi K2 Thinking — en version med förstärkt stegvist resonemang (chain-of-thought) och stöd för 200–300 på varandra följande verktygsan­rop (tool calls).
• Januari 2026 — presentation av Kimi K2.5 — en multimodal MoE-modell med nativ multimodalitet och mekanismen Agent Swarm (parallell orkestrering av sub-agenter).

Parallellt med modellutvecklingen presenterades 2024 en egen inferenstjänst, Mooncake — en KVCache-centrisk disaggregerad arkitektur för hantering av LLM med lång kontext.

Teoretiska grunder och arkitektur

Mixture-of-Experts-arkitekturen

Modellerna i serien Kimi K2 och K2.5 implementerar en Transformer-arkitektur med Mixture-of-Experts i separata lager. Ett standardblock i en transformer utgörs av en komposition av lager med multi-head self-attention (Multi-Head Attention, MHA) och positions-wise MLP (flerlagers perceptron) med residuala kopplingar:

${𝐇}^{\prime }=\mathrm{M}\mathrm{H}\mathrm{A}(𝐇)+𝐇,{𝐇}^{\ast }=\mathrm{M}\mathrm{L}\mathrm{P}({𝐇}^{\prime })+{𝐇}^{\prime },$

där $𝐇\in {ℝ}^{L\times d}$ — inmatade tokenrepresentationer, $L$ — sekvensens längd, $d$ — storleken på det dolda tillståndet.

I ett MoE-lager används i stället för ett enda MLP en uppsättning experter $\{E_i{\}}_{i=1}^N$, där varje expert utgör ett separat MLP med parametrar ${\theta }_i$. En router (gating network) väljer för varje token en delmängd av experter. Utdata från MoE-lagret för ett token med representationen $𝐡$ definieras som:

$\mathrm{M}\mathrm{o}\mathrm{E}(𝐡)=\sum _{i\in 𝒮(𝐡)}{g}_i(𝐡)E_i(𝐡),$

där $𝒮(𝐡)\subset \{1,\dots ,N\}$ — mängden valda experter för det aktuella token, $g_i(𝐡)$ — normerade routervikter, $\sum _{i\in 𝒮}{g}_i=1$. Routningsfunktionen väljer experter via operationen TopK:

$g(𝐡)=\mathrm{T}\mathrm{o}\mathrm{p}\mathrm{K}(\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(𝐡\cdot W_g)),$

där $W_g$ — en träningsbar routermatris. Detta schema möjliggör skalning av det totala antalet parametrar med ett begränsat antal parametrar som aktiveras per token.

Arkitekturhyperparametrar för Kimi K2 / K2.5

Parameter	Värde
Arkitekturtyp	Transformer med Mixture-of-Experts
Totalt antal parametrar	1,04 biljoner
Aktiverade parametrar per token	32 miljarder
Antal lager	61 (1 tätt + 60 MoE)
Storlek på dolt tillstånd	7168
Antal attention-huvuden	64
Antal experter	384 (8 valda per token + 1 gemensam)
Storlek på expertens dolda tillstånd (MoE hidden size)	2048
Vokabulärstorlek	160 000 token
Aktiveringsfunktion	SwiGLU
Attentionmekanism	Multi-head Latent Attention (MLA)
Maximal kontext	256 000 token (utökning via YaRN)
Visuell encoder (K2.5)	MoonViT-3D, ~400 miljoner parametrar

Gleshet (förhållandet mellan totalt antal experter och aktiverade) är 48:1 (384 experter, 8 aktiva), vilket ger en avsevärd minskning av beräkningskostnaden jämfört med en tät (dense) modell i samma skala.

Mekanismen Multi-head Latent Attention (MLA)

Modellerna i serien Kimi K2/K2.5 använder mekanismen Multi-head Latent Attention (MLA) — en modifiering av standardmässig multi-head attention, syftande till ökad effektivitet och skalbarhet. Standardattention för ett lager beräknas som:

$\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(𝐐,𝐊,𝐕)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{𝐐{𝐊}^{\mathrm{\top }}}{\sqrt{d_k}}\right)𝐕,$

där $𝐐,𝐊,𝐕\in {ℝ}^{L\times d_k}$ — matriserna för queries, keys och values. I MLA introduceras latenta representationer som queries och keys projiceras mot, vilket minskar dimensionaliteten hos mellanliggande operationer och möjliggör en reduktion av KV-cachens storlek. Metoden liknar den mekanism som användes i DeepSeek-V3.

Optimeraren MuonClip och QK-clip

För träning av Kimi K2 föreslogs optimeraren MuonClip — en modifiering av optimeraren Muon (momentumoptimering med Newton-Schulz-normalisering) med tillägg av tekniken QK-clip för att stabilisera träningen av stora språkmodeller med MoE-arkitektur.

QK-clip tillämpar begränsningar på attention-logiter $𝐐{𝐊}^{\mathrm{\top }}$ via en klippningsoperation (clipping). För varje attention-huvud $h$ definieras den maximala logiten:

$S_h^{max}=\frac{1}{\sqrt{d}}\underset{i,j}{max}(Q_h^i(K_h^j{)}^{\mathrm{\top }}),$

och en skalningsfaktor beräknas:

${\gamma }_h=min(1,\frac{\tau }{S_h^{max}}),$

där $\tau =100$ — en tröskelparameter, $d$ — storleken på attention-huvudet. Koefficienten ${\gamma }_h$ används för att skala vikterna $W_q,W_k$ om den maximala logiten överstiger tröskeln. Detta begränsar värdeområdet för logiter före softmax och minskar risken för plötsliga toppar i förlusterna (loss spikes) vid träning i stor skala.

Enligt författarna genomfördes förträningen av Kimi K2 på 15,5 biljoner token med MuonClip utan en enda registrerad topp i förlustfunktionen (zero loss spikes).

Multimodalitet och MoonViT

Modellerna Kimi K2.5 och Kimi-VL använder den visuella encodern MoonViT (i version K2.5 — MoonViT-3D) med ungefär 400 miljoner parametrar, byggd på basis av SigLIP-SO-400M med NaViT-packing (stöd för variabel upplösning på inmatningsbilder) och 3D-utökning för videobearbetning (gruppering per 4 bildrutor).

Den visuella encodern omvandlar inmatade bilder och video till en sekvens av visuella token. Låt $𝐗\in {ℝ}^{H\times W\times 3}$ — inmatad bild, ${\Phi }_{\text{vis}}$ — visuell encoder:

${𝐙}_{\text{vis}}={\Phi }_{\text{vis}}(𝐗)\in {ℝ}^{L_v\times d_v},$

sedan via linjär projektion (tvålagers MLP) $𝐏\in {ℝ}^{d_v\times d}$:

${𝐇}_{\text{vis}}={𝐙}_{\text{vis}}𝐏,$

där $d$ — storleken på det dolda utrymmet i modellens språkdel. I multimodalt läge ${𝐇}_{\text{vis}}$ konkateneras med texttoken och matas in i transformern.

Till skillnad från tvåstegsscheman (tillägg av en visuell adapter ovanpå en textmodell) tränas K2.5 på blandade visuell-text-data från början av förträningen (joint text-vision pre-training), med en låg andel visuella token (~10 %) i de tidiga faserna och en gradvis ökning. Den totala volymen är ungefär 15 biljoner blandade visuell-text-token.

Förträning och efterträning

Förträning

Kimi K2 förtränas på 15,5 biljoner token (webbtexter, kod, matematik, encyklopedisk kunskap) med optimeraren MuonClip. Inte en enda topp i förlustfunktionen (loss spike) registrerades under hela förträningsperioden.

Kimi K2.5 genomgick kontinuerlig förträning (continual pre-training) från en kontrollpunkt för K2 på ytterligare ~15 biljoner blandade visuell-text-token med gemensam modalitetsoptimering (joint pre-training). Separat genomfördes 1 biljon token av standalone-träning av den visuella encodern och en ytterligare fas med long-context mid-training för utökning av kontexten.

Efterträning

Efterträningen av modellerna i K2-serien innefattar flera steg:

Supervised Fine-Tuning (SFT, övervakad finjustering):

• Syntetiska agentbanor (agentic data synthesis) — generering av verktygsspecifikationer, simulering av interaktioner med miljön, verifiering av resultat.
• För K2.5 tillämpas dessutom zero-vision SFT — text-SFT som aktiverar visuella förmågor utan direkt användning av bilder i finjusteringsfasen.

Reinforcement Learning (RL, förstärkningsinlärning):

• Kombination av verifierbara belöningar (Reinforcement Learning with Verifiable Rewards, RLVR) för uppgifter inom matematik, kod och säkerhet.
• Självbedömning via rubriker (self-critique rubric rewards) — användning av LLM-bedömare för automatisk kvalitetsutvärdering av agentscenarier.
• För K2.5 — gemensam multimodal RL (joint multimodal RL).

Quantization-Aware Training (QAT):

• Kimi K2 Thinking och K2.5 stöder nativ INT4-kvantisering av vikter (weight-only quantization, grupp 32, komprimerade tensorer), optimerad för NVIDIA Hopper-arkitekturen, vilket minskar minneskraven vid inferens.

Agent Swarm (K2.5)

För modellen K2.5 utvecklades mekanismen Agent Swarm — ett ramverk för självorganiserad parallell orkestrering av agenter. Orkestratormodellen skapar dynamiskt sub-agenter (via operationerna create_subagent, assign_task), fördelar deluppgifter och samlar in resultat. Varje sub-agent kan självständigt anropa verktyg och arbeta parallellt med andra sub-agenter.

Träningen av Agent Swarm-mekanismen implementeras via Parallel-Agent Reinforcement Learning (PARL) med åtskillnad mellan exekvering och optimering (decoupling execution/optimization). Enligt författarna ger Agent Swarm en minskning av latensen med upp till 4,5× jämfört med enkeltrådat agentläge (single-agent).

Huvudmodellerna i serien

Modell	Typ	Parametrar (totalt / aktiva)	Kontext, token	Multimodalitet	Lanseringsdatum
Kimi k1.5	LLM, RL-skalning	ej offentliggjort	128 000	Ja (begränsad)	Januari 2025
Kimi-VL	VLM, MoE	kompakt / ~2,8 miljarder aktiva + 400 miljoner ViT	lång kontext	Ja (bilder)	April 2025
Kimi K2	LLM, MoE	1,04 biljoner / 32 miljarder	256 000	Nej (text)	Juli 2025
Kimi K2 Thinking	LLM, MoE	1,04 biljoner / 32 miljarder	256 000	Nej (text)	November 2025
Kimi K2.5	VLM-LLM, MoE	1,04 biljoner / 32 miljarder	256 000	Ja (bilder, video, PDF)	Januari 2026

Kimi K2

Kimi K2 är en Mixture-of-Experts LLM med 1,04 biljoner totala parametrar och 32 miljarder aktiverade parametrar per token. Förtränad på 15,5 biljoner token med optimeraren MuonClip. Arkitekturen inkluderar 384 experter och en MLA-mekanism kompatibel med lång kontext. Modellen är inriktad på uppgifter inom programmering, matematiskt resonemang och agentscenarier med sekventiella verktygsan­rop.

Den tekniska rapporten beskriver en flerstegig pipeline för efterträning: storskalig syntes av agentdata genom simulering av verktygsinteraktioner; förstärkningsinlärning i en blandad miljö av verkliga och syntetiska uppgifter; användning av LLM-bedömare för automatisk kvalitetsutvärdering.

Kimi K2 Thinking

Varianten Kimi K2 Thinking är optimerad för flerstegigt resonemang (chain-of-thought) med möjlighet till dynamiska verktygsan­rop och stöd för kontext upp till 256 000 token. Modellen implementerar ett separat "Thinking"-läge med ett explicit returnerat fält reasoning_content som innehåller det interna resonemanget. K2 Thinking stöder 200–300 sekventiella verktygsan­rop i ett och samma agentavsnitt utan väsentlig beteendedegradation, samt nativ INT4-kvantisering med QAT.

Kimi-VL

Kimi-VL är en öppen multimodal MoE-VLM (vision-language model), inriktad på uppgifter inom visuell förståelse, visuell-textbaserat resonemang och verkliga scener. Modellen beskrivs som en kompakt MoE-arkitektur med den visuella encodern MoonViT. Den tekniska rapporten publicerades på arXiv i april 2025.

Kimi K2.5

Kimi K2.5 är en multimodal MoE-modell i skalan 1,04 biljoner parametrar med 32 miljarder aktiva, baserad på kontrollpunkten Kimi-K2-Base med fortsatt förträning på ~15 biljoner blandade visuell-text-token. Modellen stöder inmatning av bilder, video, PDF och text med kontext upp till 256 000 token.

K2.5 stöder två primära inferenslägen:

• Thinking mode — med explicit reasoning_content och flerstegsgenerering;
• Instant mode — utan resonemangsutsignal, med lägre latens.

Modellen implementerar nativ INT4-kvantisering av vikter (weight-only, grupp 32), optimerad för NVIDIA Hopper-arkitekturen.

Viktigaste resultat och benchmark

Text- och agentbenchmark för Kimi K2

Resultaten gäller Kimi-K2-Instruct i non-thinking-läge (utan utökad chain-of-thought) enligt den tekniska rapporten.

Benchmark	Kimi K2-Instruct	DeepSeek-V3-0324	Claude 4 Opus / Sonnet	Källa
SWE-Bench Verified (Pass@1)	65,8 %	38,8 %	72,5 % / 72,7 %	arXiv:2507.20534
SWE-Bench Multilingual	47,3 %	20,9 %	51,0 %	arXiv:2507.20534
LiveCodeBench v6 (Pass@1)	53,7 %	44,7 %	46,9 %	arXiv:2507.20534
Tau2-Bench (micro-avg)	66,1 %	48,8 %	66,1 %	arXiv:2507.20534
ACEBench (En)	76,5 %	75,6 %	80,1 %	arXiv:2507.20534
AIME 2025 (Avg@64)	49,5 %	33,9 %	46,7 %	arXiv:2507.20534
GPQA-Diamond (Avg@8)	75,1 %	68,2 %	74,9 %	arXiv:2507.20534

Enligt författarnas påstående placerar dessa resultat K2 bland ledarna bland öppna modeller i läge utan thinking-utveckling, särskilt på ingenjörsmässiga och agentbaserade uppgifter (vid tidpunkten för rapportpublikationen).

Benchmark för Kimi-VL

Benchmark	Kimi-VL	Qwen2.5-VL-7B	GPT-4o-mini	Källa
MMVet (noggrannhet)	66,7 %	67,1 %	66,9 %	arXiv:2504.07491
RealWorldQA	68,1 %	68,5 %	—	arXiv:2504.07491

Resultaten visar att en kompakt multimodal MoE-arkitektur uppnår en nivå som är jämförbar med större modeller med färre aktiva parametrar.

Benchmark för Kimi K2.5

Resultaten anges i Thinking-läge (temperature = 1,0; top-p = 0,95; kontext 256 000 token; motor vLLM; hårdvaruplattform NVIDIA H200) enligt modellkortet på plattformen NVIDIA NIM och den tekniska rapporten.

Kategori	Benchmark	Kimi K2.5
Reasoning & Knowledge	HLE-Full (utan verktyg)	30,1
	HLE-Full (med verktyg)	50,2
	AIME 2025	96,1
	HMMT 2025 (Feb)	95,4
	GPQA-Diamond	87,6
	MMLU-Pro	87,1
Vision & Video	MMMU-Pro	78,5
	MathVision	84,2
	MathVista (mini)	90,1
	OCRBench	92,3
	OmniDocBench 1.5	88,8
	VideoMMMU	86,6
	LongVideoBench	79,8
Coding	SWE-Bench Verified	76,8
	SWE-Bench Pro	50,7
	SWE-Bench Multilingual	73,0
	Terminal Bench 2.0	50,8
	PaperBench	63,5
	LiveCodeBench v6	85,0
	OJBench (C++)	57,4
Long Context	Longbench v2	61,0
	AA-LCR	70,0
Agentic Search	BrowseComp	60,6
	BrowseComp (Agent Swarm)	78,4
	WideSearch (iter-F1)	72,7
	DeepSearchQA	77,1

Dessutom uppvisar K2.5 en positiv överföring av visuell träning till textbaserade uppgifter: +1,7 % på MMLU-Pro och +2,1 % på GPQA-Diamond jämfört med den textbaserade grundmodellen K2.

Den slutliga jämförande utvärderingen beror på valet av mätvärden och scenarier; resultaten anges enligt författarnas data. Oberoende validering av en del av benchmarken är begränsad vid tidpunkten för publikation.

Tillämpningar

Textassistent och sökning

Plattformen Kimi används som assistent med stöd för bearbetning av långa dokument (forskningsrapporter, finansiella data), automatiserad analys och onlinesökning med aggregering av information. Moonshot AI anger att Kimi stöder mer än 300 verktygsan­rop (tool calls) inom ett och samma agentscenario.

Programmering och ingenjörsmässiga uppgifter

Kimi K2 och K2.5 uppvisar höga resultat på SWE-Bench Verified, SWE-Bench Multilingual, LiveCodeBench och andra programmeringsbenchmark. Modellerna används för automatisering av felrättning i kodförråd, generering och refaktorering av kod, samt lösning av uppgifter i onlinejudge-system (OJBench, LiveCodeBench). Den tekniska rapporten för K2 anger att modellen tränades på ett storskaligt syntetiskt agentkorpus som inkluderar interaktioner med versionskontrollsystem, pakethanterare och körmiljöer.

Multimodala tillämpningar

Kimi-VL och K2.5 är avsedda för visuell fråga-och-svar (VQA) på bilder och dokument; dokumentförståelse (OCRBench, OmniDocBench); videoanalys (VideoMMMU, LongVideoBench); kombinerade programmeringsuppgifter baserade på visuella specifikationer (t.ex. generering av gränssnitt från en bildlayout). För K2.5 beskrivs scenarier för "vision-grounded coding" och "autonomous visual debugging", där modellen genererar kod utifrån en visuell beskrivning och iterativt analyserar det visuella resultatet.

API och driftsättning

Modellerna är tillgängliga via API:et på Moonshot AI Open Platform med stöd för tool calling, thinking-läge, JSON-läge och kontextcachning. Öppna vikter används för lokal driftsättning via vLLM, SGLang och TensorRT-LLM. Tjänsten Mooncake möjliggör skalning av inferens för lång kontext.

Begränsningar och öppna problem

Resurskrav

MoE-modeller i skalan 1 biljon parametrar, även med 32 miljarder aktiva parametrar och INT4-kvantisering, kräver betydande minnesutrymme och bandbredd. I tekniska diskussioner om driftsättning av Kimi K2.5 nämns uppskattningar i storleksordningen hundratals gigabyte GPU-minne för fullständig inläsning av modellen; de exakta siffrorna beror på kvantiseringsformat och ramverk (vLLM, SGLang m.fl.).

Hallucinationer och genereringskvalitet

Precis som andra LLM är modellerna i Kimi-serien benägna att hallucination. I rapporter från testerna FACTS Grounding och FaithJudge registrerades hallucination rates på 1,1–7,4 % i RAG-scenarier. I non-thinking-läge kan modellen generera överflödiga token vid otydliga verktygsspecifikationer; vid tvingad aktivering av tool-use sjunker prestandan på vissa uppgifter.

Beroende av syntetiska data och RL-pipeline

Pipelinen för syntes av agentdata och förstärkningsinlärning bygger på en stor samling syntetiska verktyg och scener, samt LLM-bedömare för automatisk utvärdering (self-judging). Denna uppläggning väcker öppna frågor: robusthet mot snedvridning (bias) i självbedömningen; potentiell degradation vid upprepade iterationer (bootstrap); överförbarheten av agentfärdigheter till verkliga miljöer som skiljer sig från de simulerade; inverkan av distributionen av syntetiska uppgifter på generaliseringsförmågan.

Transparens och reproducerbarhet

En del information om sammansättningen av träningsdata, filtreringsprocessen, språk- och domänfördelningen offentliggörs inte eller offentliggörs endast begränsat. Detta försvårar en precis bedömning av snedvridningskällor, reproducerbarheten av träningen och oberoende validering av inverkan av enskilda komponenter (MuonClip, QK-clip) på stabiliteten. Per februari 2026 har ingen fullständig reproduktion av träningen av Kimi K2 och K2.5 av tredje part dokumenterats i öppen litteratur.

Etiska och regulatoriska aspekter

I modellkort och tekniska rapporter betonas att utvecklarna bär ansvar för modellens indata och utdata; att skyddsmekanismer (guardrails) måste läggas till och att testning på data för det specifika fallet krävs innan implementering; att modellen kan bearbeta bilder och video som potentiellt innehåller personuppgifter, och att integratorn är skyldig att följa tillämplig lagstiftning.

De tekniska rapporterna beskriver säkerhetsutvärderingar (biologiska, kemiska, cyberrisker) med verktyg av typen Promptfoo. Modellerna genomgår RL-anpassning (alignment) med verifierbara belöningar och självbedömning.

Som produkter från ett kinesiskt företag lyder modellerna under Kinas nationella AI-reglering. Vid tidpunkten för skrivandet har inga separata offentliga regulatoriska dokument som uteslutande rör Kimi-modellerna påträffats; regleringen sker inom ramen för allmänna tillvägagångssätt för generativa modeller och AI i respektive jurisdiktioner.

I februari 2026 hävdade företaget Anthropic att Moonshot AI (tillsammans med andra kinesiska utvecklare) hade använt falska konton för att generera interaktioner med Claude i syfte att destillera data för träning av modeller. Uppgiften är av karaktären ett ensidigt påstående och har inte bekräftats av oberoende utredningar vid tidpunkten för publikation; Moonshot AI har inte publicerat något officiellt svar.

Framtidsperspektiv och forskningsinriktningar

Utifrån publicerat material kan ett antal riktningar för fortsatt forskning urskiljas:

• Skalbara agentsystem. Utveckling av metoder för att träna LLM som agentsystem med hjälp av syntetisk verktygsamling, RL och self-judging. Utvidgning av Agent Swarm till fler sub-agenter och nya typer av uppgifter.
• Effektiva MoE-arkitekturer. Användningen av 1 biljon parametrar med 32 miljarder aktiva och 384 experter representerar en möjlig avvägning mellan skala och effektivitet; alternativ med olika routingscheman undersöks.
• Nativ multimodalitet. Träningen av K2.5 på blandade visuell-text-data från förträningens start representerar ett tillvägagångssätt för "nativ" multimodalitet, vilket jämförs med tvåstegsscheman.
• Effektiv inferens och lång kontext. INT4-kvantisering och stöd för kontext med 256 000 token stimulerar fortsatt forskning inom gles attention, latenta representationer och externt minne. Separat beskrivs projektet Kimi Linear — en hybrid med linjär attention, 75 % reduktion av KV-cachen och 6 gånger snabbare dekodning vid kontext med 1 miljon token.

I officiella material från Moonshot AI publiceras inga detaljerade färdplaner för kommande versioner av Kimi; de listade riktningarna är baserade på publicerade forskningsresultat.

Se även

• Transformer-arkitekturen
• DeepSeek
• Qwen

Externa länkar

• https://www.moonshot.ai/ — officiell webbplats för Moonshot AI
• https://platform.moonshot.ai/ — Moonshot AI Open Platform (API)
• https://github.com/MoonshotAI/Kimi-K2.5 — GitHub-förråd för Kimi K2.5
• https://huggingface.co/moonshotai — Moonshot AIs profil på Hugging Face

Litteratur

• Kimi Team (2025). Kimi K2: Open Agentic Intelligence. arXiv:2507.20534. https://arxiv.org/abs/2507.20534
• Kimi Team (2026). Kimi K2.5: Visual Agentic Intelligence. arXiv:2602.02276. https://arxiv.org/abs/2602.02276
• Kimi Team (2025). Kimi k1.5: Scaling Reinforcement Learning with LLMs. arXiv:2501.12599. https://arxiv.org/abs/2501.12599
• Moonshot AI (2025). Kimi-VL Technical Report. arXiv:2504.07491. https://arxiv.org/abs/2504.07491
• Kimi Team (2025). Kimi Linear: An Expressive, Efficient Attention Architecture. arXiv:2510.26692. https://arxiv.org/abs/2510.26692
• Qin, R. et al. (2024). Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving. arXiv:2407.00079. https://arxiv.org/abs/2407.00079
• Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. https://arxiv.org/abs/1706.03762