ERNIE 5.5
ERNIE 5.5 — поколение языковых моделей компании Baidu с разреженной архитектурой MoE (280 млрд параметров, из которых 14 млрд активируются на токен), рассчитанное на эффективные донастройку и инференс с контекстом до 1 млн токенов[1]. Базовый чекпойнт ERNIE-5.5-Flash-Base был опубликован в открытый доступ 5 ноября 2026 года, а 12 ноября 2026 года на конференции Baidu World 2026 была представлена версия Flash Preview с API на платформе Qianfan; её веса обещано открыть до 25 ноября 2026 года[2][3].
Технические характеристики
- Поколение: ERNIE 5.5 (линейка Flash; преемник ERNIE 5.1)
- Архитектура: разреженная MoE с гибридным вниманием; 43 слоя (1 плотный FFN + 42 MoE-слоя), из них 37 слоёв сильно сжатого внимания (HCA) и 6 слоёв Multi-head Latent Attention с разреженным вниманием (MLA + DSA); 512 маршрутизируемых экспертов (top-10) плюс 1 общий эксперт на MoE-слой[1]
- Параметры: 280 млрд всего / 14 млрд активных; дополнительно 0,36 млрд параметров ECHO, не входящих в счёт[1]
- Контекстное окно: 128K при обучении; до 1 млн токенов при донастройке и инференсе[1]
- Модальности: текст
- Режим мышления: поддерживается (Flash Preview представлена в категории глубокого мышления Qianfan)[4]
- Граница знаний: публично не раскрыта
- Выпуск: ERNIE-5.5-Flash-Base (открытые веса) — 5 ноября 2026 года; ERNIE 5.5 Flash Preview — 12 ноября 2026 года
- Стоимость (API Qianfan): вход ¥1 и выход ¥4 за 1 млн токенов; кэшированный вход — ¥0,04[3]; на международной платформе — $0,28 и $1,13, кэш — $0,028 за 1 млн токенов[4]; в OpenRouter доступна бесплатно[3]
- Лицензия: ERNIE 5.5 Flash Base Model License Agreement v1.0 (собственная лицензия Baidu)[1]
- Обучение: предобучение с нуля на 33,5 трлн токенов (акцент на коде уровня репозиториев и длинном контексте) с оптимизатором Muon[1][2]
История и разработка
5 ноября 2026 года Baidu опубликовала на Hugging Face и ModelScope чекпойнт ERNIE-5.5-Flash-Base — веса в формате FP8 и BF16 на момент окончания предобучения, без промежуточных и финальных стадий донастройки[2][1]. Компания позиционирует его как отправную точку для доменной адаптации, инструктивной донастройки и исследований обучения с подкреплением, избавляющую сообщество от затрат на масштабное предобучение[2]. Публикация стала возвратом к открытым весам после закрытых ERNIE 5.0 и ERNIE 5.1[2].
Ключевая архитектурная особенность модели — гибридное внимание: только каждый седьмой слой (MLA) сохраняет поточечный доступ ко всему контексту, остальные 37 слоёв используют сильно сжатое внимание HCA, кэширующее одну запись на каждые 128 токенов и обрабатывающее её вместе с коротким окном недавних токенов[2][1]. Размерности голов подобраны под стоимость каждого слоя (512-мерные у дешёвых HCA-слоёв, 256-мерные у дорогих MLA-слоёв), а бюджет KV-кэша сконцентрирован на полноконтекстных слоях[2]. В едином конвейере оценки базовый чекпойнт сопоставляется с DeepSeek-V4-Flash-Base (284B-A13B), Hy3-preview-Base (295B-A21B) и MiMo-V2.5-Base (310B-A15B) по знаниям, рассуждениям, математике, коду, многоязычности и длинному контексту[1].
12 ноября 2026 года на конференции Baidu World 2026 в Пекине Baidu представила версию ERNIE 5.5 Flash Preview — 280 млрд параметров с 14 млрд активных и контекстным окном 1 млн токенов, сильную в программировании, 3D-моделировании, работе со знаниями и создании контента[3]. По данным компании, на бенчмарках Terminal-Bench и AutomationBench модель показала конкурентные результаты при высокой скорости декодирования; для повышения эффективности инференса применена фирменная технология рекурсивного самосовершенствования ERNIE Evolve[3]. API доступен на Qianfan по цене ¥1 за 1 млн входных и ¥4 за 1 млн выходных токенов, модель также бесплатно представлена в OpenRouter, а её веса обещано открыть до 25 ноября 2026 года[3]. Одновременно Baidu представила прикладные модели ERNIE Wizshot Micro-Expression и ERNIE Light Deep Thinking, а также запустила маркетплейс Token Exchange для модельных сервисов[3].
Ссылки
- ERNIE-5.5-Flash-Base — карточка модели, Hugging Face (baidu)
- ERNIE 5.5 Flash Base Model License Agreement v1.0 — файл лицензии, Hugging Face
- Price — документация Qianfan International, Baidu AI Cloud
См. также
Примечания
- ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 ERNIE-5.5-Flash-Base — карточка модели, Hugging Face (baidu).
- ↑ 2,0 2,1 2,2 2,3 2,4 2,5 2,6 ERNIE 5.5 Flash Base — ERNIE (ernie.baidu.com), 5 ноября 2026 года.
- ↑ 3,0 3,1 3,2 3,3 3,4 3,5 3,6 Baidu Unveils Latest ERNIE Models Amid Broader Full-Stack AI Lineup, and Debuts Token Exchange to Power Intelligent Organizations — пресс-релиз Baidu, PR Newswire, 12 ноября 2026 года.
- ↑ 4,0 4,1 Price — документация Qianfan International, Baidu AI Cloud, обновлено 10 ноября 2026 года.