Kimi K2 Base
Kimi K2 Base — открытая базовая (фундаментальная) MoE-модель китайской компании Moonshot AI с 1 трлн общих и 32 млрд активных параметров, предобученная на 15,5 трлн токенов с масштабированием оптимизатора MuonClip и без единого сбоя обучения; в отличие от парной instruct-версии не проходила посттренировку и предназначена для тонкой настройки и пользовательских решений. Опубликована 11 июля 2025 года на Hugging Face под модифицированной лицензией MIT одновременно с Kimi K2 Instruct; стала фундаментом всей последующей линейки K2 — в частности, мультимодальная Kimi K2.5 создана непрерывным предобучением поверх K2 Base.
Технические характеристики
- Поколение: Kimi (серия K2; базовая модель серии)
- Идентификатор: moonshotai/Kimi-K2-Base (Hugging Face; отдельного API-идентификатора нет)
- Параметры: 1 трлн всего / 32 млрд активных (MoE: 384 эксперта, 8 выбираемых и 1 общий на токен; 61 слой, из них 1 плотный); механизм внимания MLA, функция активации SwiGLU; предобучение на 15,5 трлн токенов; оптимизатор MuonClip — оптимизатор Muon, масштабированный до беспрецедентного уровня с новыми методами стабилизации; чекпойнт в формате block-fp8
- Контекстное окно: 131 072 токена (128 тыс.)
- Модальности: только текст (вход и выход)
- Режим мышления: неприменим (модель без посттренировки, не предназначена для следования инструкциям без дообучения)
- Граница знаний: декабрь 2024
- Выпуск: 11 июля 2025
- Стоимость: через Kimi API не предоставляется; весовые коэффициенты свободно доступны для самостоятельного развёртывания и тонкой настройки (рекомендованные движки вывода — vLLM, SGLang, KTransformers, TensorRT-LLM)
- Весовые коэффициенты и код распространяются по модифицированной лицензии MIT с условием атрибуции: при использовании в коммерческом продукте или сервисе с более чем 100 млн месячных активных пользователей либо месячной выручкой более $20 млн в интерфейсе должно заметно отображаться название «Kimi K2». Карточка модели позиционирует K2 Base как отправную точку «для исследователей и разработчиков, которым нужен полный контроль для тонкой настройки и собственных решений».
- Технические характеристики — карточка модели на Hugging Face.
История и разработка
Kimi K2 Base была выпущена 11 июля 2025 года одновременно с посттренированной версией Kimi K2 Instruct и на момент выхода оставалась одной из крупнейших опубликованных моделей с открытыми весами[1][2]. Предобучение модели на 15,5 трлн токенов прошло, по данным Moonshot, без единого сбоя обучения; для стабильности на таком масштабе компания масштабировала оптимизатор Muon и разработала новые приёмы устранения нестабильности (MuonClip)[1]. Технический отчёт «Kimi K2: Open Agentic Intelligence» детализирует устройство серии, включая рецепты агентного посттренирования instruct-версии[3]; посттренированная K2 на момент выпуска занимала первое место среди открытых моделей на LMSYS Chatbot Arena[3].
Как базовая модель K2 не сопровождается «интерфейсными» бенчмарками уровня чат-моделей: карточка приводит таблицы инструктированной версии, тогда как сама база оценивается в техническом отчёте на стандартных наборах для фундаментальных моделей[1][3]. Роль K2 Base в экосистеме Moonshot оказалась долгосрочной: поверх неё построены последующие релизы серии — обновление Instruct 0905 и K2 Thinking наследуют архитектуру и веса 0711, а мультимодальная Kimi K2.5 создана непрерывным предобучением «примерно на 15 трлн смешанных визуально-текстовых токенов поверх Kimi-K2-Base»[4]. Серия K2 в целом стала основой для посттренировки сторонних моделей, включая Inkling от Thinking Machines Lab и Composer 2 от Cursor[5].
Ссылки
- Kimi K2 Base Model Card — карточка модели на Hugging Face
- Kimi K2: Open Agentic Intelligence — страница проекта
- Kimi K2: Open Agentic Intelligence — технический отчёт (arXiv:2507.20534)
См. также
Примечания
- ↑ 1,0 1,1 1,2 Kimi K2 Base Model Card. Hugging Face (Moonshot AI). Июль 2025.
- ↑ China’s Moonshot AI releases trillion-parameter model Kimi K2. HPCwire. 16 июля 2025.
- ↑ 3,0 3,1 3,2 Kimi Team (2025). Kimi K2: Open Agentic Intelligence. arXiv:2507.20534 [cs.LG], 28 июля 2025 (v2: 3 февраля 2026). https://arxiv.org/abs/2507.20534
- ↑ Kimi K2.5 Model Card. Hugging Face (Moonshot AI). Январь 2026.
- ↑ Kimi (AI). Wikipedia.