ERNIE 5.0

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

ERNIE 5.0 — проприетарная омни-модальная базовая модель компании Baidu с ультра-разреженной архитектурой MoE на 2,4 трлн параметров, менее 3 % которых активируются на один запрос; модель обучена с нуля для единого понимания и генерации текста, изображений, аудио и видео[1][2]. Модель была впервые показана в формате превью 13 ноября 2025 года на конференции Baidu World 2025, а 22 января 2026 года официально запущена; открытые веса при этом опубликованы не были[3][2].

Технические характеристики

  • Поколение: пятое поколение семейства ERNIE (преемник ERNIE 4.5)
  • Архитектура: нативно омни-модальная авторегрессионная; ультра-разреженная MoE с модality-агностичной маршрутизацией и общим пулом экспертов[1]
  • Параметры: 2,4 трлн всего; менее 3 % активны на токен (около 72 млрд)[1][2]
  • Идентификатор: ernie-5.0 (Qianfan); открытые веса не опубликованы[2]
  • Контекстное окно: до 128K (контекст при обучении расширялся поэтапно от 8K до 128K)[1]
  • Модальности: вход и выход — текст, изображения, аудио, видео (единая модель и для понимания, и для генерации)[3]
  • Режим мышления: публично не раскрыт
  • Граница знаний: публично не раскрыта
  • Выпуск: превью 13 ноября 2025 года; официальный запуск 22 января 2026 года
  • Стоимость: ERNIE Bot — бесплатно; API — через Qianfan; в действующих прайс-листах Qianfan (обновление от 29 октября 2026 года) модель уже не представлена[4]
  • Обучение: PaddlePaddle; единая цель Next-Group-of-Tokens Prediction; текст — Next-Token Prediction с Multi-Token Prediction, видео — Next-Frame-and-Scale Prediction, аудио — Next-Codec Prediction; корпус — триллионы токенов в кодировке UTF-16BE; пост-обучение — конвейер RL (U-RB, MISC и WPSM, AHRL)[1]

История и разработка

Модель была впервые представлена 13 ноября 2025 года на ежегодной конференции Baidu World 2025 в Пекине как «нативно омни-модальная» базовая модель нового поколения, совместно моделирующая текст, изображения, аудио и видео в единой архитектуре[3][5]. Превью модели стало доступно частным пользователям через ERNIE Bot, а корпоративным — через платформу Qianfan[3]. По словам Робина Ли, модель отличается обновлёнными базовыми способностями — мультимодальным пониманием, следованием инструкциям, творческим письмом, фактическим рассуждением, агентным планированием и использованием инструментов[3].

Официальный запуск состоялся 22 января 2026 года; к этому моменту, по данным рейтинга LMArena от 15 января 2026 года, версия ERNIE-5.0-0110 набрала 1460 очков, заняв 8-е место в мире и 1-е среди китайских моделей — выше OpenAI GPT-5.1 (High), Google Gemini 2.5 Pro и Anthropic Claude Sonnet 4.5, а в категории «математика» — 2-е место после GPT 5.2 (High)[2][6]. Запуск совпал с достижением аудиторизации 200 млн месячных пользователей ИИ-ассистента Baidu[6]. В отличие от ERNIE 4.5, Baidu не опубликовала ни весов модели, ни технической документации на момент запуска[2].

В феврале 2026 года вышел технический отчёт, описывающий ERNIE 5.0 как единую авторегрессионную модель, обученную с нуля: все модальности отображаются в общее пространство токенов и оптимизируются единой целью Next-Group-of-Tokens Prediction[1][7]. Ультра-разреженная MoE с общим пулом экспертов активирует менее 3 % параметров на токен; для масштабируемого обучения применялись эластичные суперсети (варьирование глубины, ширины и разреженности) и гибридная параллелизация на базе PaddlePaddle, а стабильность мультимодального обучения обеспечивалась балансировкой нагрузки без вспомогательных потерь[1][7]. Пост-обучение включало конвейер обучения с подкреплением с несмещённым буфером воспроизведения (U-RB), механизмами стабильности MISC и WPSM и адаптивным RL с подсказками (AHRL)[7].

После выхода следующего флагмана ERNIE 5.1 модель была исключена из действующего прайс-листа Qianfan (обновление от 29 октября 2026 года), где среди моделей ERNIE остались ERNIE 5.1 и ERNIE-5.5-Flash[4].

Ссылки

См. также

Примечания

  1. ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 ERNIE 5.0 Technical Report — ERNIE Team, Baidu, arXiv:2602.04705, 2026.
  2. ↑ 2,0 2,1 2,2 2,3 2,4 2,5 Ernie 5.0: Baidu's 2.4 trillion parameter model becomes China's best in LMArena — The Decoder, 22 января 2026 года.
  3. ↑ 3,0 3,1 3,2 3,3 3,4 Baidu Unveils ERNIE 5.0 and a Series of AI Applications at Baidu World 2025, Ramps Up Global Push — пресс-релиз Baidu, PR Newswire, 13 ноября 2025 года.
  4. ↑ 4,0 4,1 Цена — документация Qianfan, Baidu AI Cloud, обновлено 29 октября 2026 года.
  5. ↑ Baidu Unveils ERNIE 5.0 and a Series of AI Applications at Baidu World 2025 — AIwire (HPCwire), 13 ноября 2025 года.
  6. ↑ 6,0 6,1 Baidu launches Ernie 5.0 as the firm's AI assistant users reach 200 million a month — South China Morning Post, 22 января 2026 года.
  7. ↑ 7,0 7,1 7,2 ERNIE 5.0: A 2.4 Trillion-Parameter Unified Multimodal Foundation Model — ERNIE (ernie.baidu.com), 2026.