Kimi K2 Instruct

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

Kimi K2 Instruct — открытая MoE-модель китайской компании Moonshot AI (1 трлн общих, 32 млрд активных параметров), посттренированная instruct-версия базовой Kimi K2, обученной на 15,5 трлн токенов с беспрецедентным масштабированием оптимизатора MuonClip и без единого сбоя обучения; модель ориентирована на агентный интеллект — использование инструментов, рассуждение и автономное решение задач, — но не выполняет длинного размышления («рефлекторный» уровень). Выпущена 11 июля 2025 года; весовые коэффициенты опубликованы на Hugging Face под модифицированной лицензией MIT, доступ — через Moonshot API (kimi-k2-0711-preview).

Технические характеристики

  • Поколение: Kimi (серия K2; первая instruct-модель серии, предшественник K2 Instruct 0905)
  • Идентификатор: kimi-k2-0711-preview (API); moonshotai/Kimi-K2-Instruct (Hugging Face)
  • Параметры: 1 трлн всего / 32 млрд активных (MoE: 384 эксперта, 8 выбираемых и 1 общий на токен; 61 слой, из них 1 плотный); механизм внимания MLA, функция активации SwiGLU; предобучение на 15,5 трлн токенов; оптимизатор MuonClip — вариант оптимизатора Muon, масштабированный до беспрецедентного для него уровня с новыми методами стабилизации
  • Контекстное окно: 131 072 токена (128 тыс.)
  • Модальности: только текст (вход и выход)
  • Режим мышления: не поддерживается (модель «рефлекторного» уровня без длинного размышления)
  • Граница знаний: декабрь 2024
  • Выпуск: 11 июля 2025
  • Стоимость: API — $0,57 за 1 млн входных токенов, $2,30 за 1 млн выходных
  • Весовые коэффициенты и код распространяются по модифицированной лицензии MIT с условием атрибуции: при использовании в коммерческом продукте или сервисе с более чем 100 млн месячных активных пользователей либо месячной выручкой более $20 млн в интерфейсе должно заметно отображаться название «Kimi K2». Выпускалась в паре вариантов Base (фундаментальная модель для тонкой настройки) и Instruct (посттренированная); чекпойнт в формате block-fp8, рекомендованные движки вывода — vLLM, SGLang, KTransformers, TensorRT-LLM. Вариант kimi-k2-0711-preview позднее помечен как устаревший (deprecated) в списке моделей Kimi API.
  • Технические характеристики — карточка модели на Hugging Face.

История и разработка

Kimi K2 Instruct была выпущена 11 июля 2025 года одновременно с базовой моделью Kimi-K2-Base и на момент выхода стала одной из крупнейших моделей с открытыми весами[1][2]. По данным технического отчёта, модель занимала первое место среди открытых моделей на LMSYS Chatbot Arena на момент выпуска[3]. На ключевых бенчмарках модель обходит DeepSeek-V3-0324, Qwen3-235B-A22B, GPT-4.1 и Gemini 2.5 Flash, приближаясь к Claude Sonnet 4 и Claude Opus 4 (без расширенного размышления): LiveCodeBench v6 — 53,7, OJBench — 27,1, SWE-bench Verified (агентно) — 65,8, SWE-bench Multilingual — 47,3, AIME 2024 — 69,6, MATH-500 — 97,4, Tau2 (telecom) — 65,8, AceBench — 76,5[1].

Обучение потребовало, по данным карточки, 15,5 трлн токенов с «нулевой нестабильностью обучения»; оптимизатор Muon был применён в масштабе, ранее недостижимом для MoE-моделей такого размера, с новыми приёмами устранения нестабильности (MuonClip)[1]. Отличительной чертой релиза стала ориентация на агентные сценарии: посттренировка сочетала обучение с подкреплением для использования инструментов, рассуждений и автономного решения задач, а API модели предоставлялся в том числе в Anthropic-совместимом виде для работы с агентными каркасами[4]. Релиз был встречен широким признанием — в частности, за сильное творческое письмо и программирование[5].

Уже 9 сентября 2025 года вышло обновление K2 Instruct 0905 с контекстом 256 тыс. токенов и усиленным агентным кодированием, 6 ноября — K2 Thinking с режимом размышления[6]. Серия K2 в дальнейшем стала основой для посттренировки сторонних моделей, включая Inkling от Thinking Machines Lab и Composer 2 от Cursor[6]; сама версия 0711 после выхода преемниц была помечена в Kimi API как устаревшая[7].

Ссылки

Примечания

  1. ↑ 1,0 1,1 1,2 Kimi K2 Instruct Model Card. Hugging Face (Moonshot AI). Июль 2025.
  2. ↑ China’s Moonshot AI releases trillion-parameter model Kimi K2. HPCwire. 16 июля 2025.
  3. ↑ Kimi Team (2025). Kimi K2: Open Agentic Intelligence. arXiv:2507.20534 [cs.LG], 28 июля 2025 (v2: 3 февраля 2026). https://arxiv.org/abs/2507.20534
  4. ↑ Kimi K2: Open Agentic Intelligence. Страница проекта Moonshot AI.
  5. ↑ Moonshot AI’s updated Kimi model offers expanded context window, improved coding. South China Morning Post. 4 сентября 2025.
  6. ↑ 6,0 6,1 Kimi (AI). Wikipedia.
  7. ↑ Model List. Kimi API Platform.
Источник — https://systems-analysis.info/wiki/index.php?title=Kimi_K2_Instruct&oldid=1678