ERNIE 4.5
ERNIE 4.5 — семейство больших языковых моделей компании Baidu с гетерогенной мультимодальной архитектурой MoE, отличающееся нативной совместной обработкой текста, изображений, аудио и видео[1]. Модель была представлена 16 марта 2025 года одновременно с рассуждающей моделью ERNIE X1, а 30 июня 2025 года всё семейство из десяти вариантов было выложено в открытый доступ под лицензией Apache 2.0[1][2].
Технические характеристики
- Поколение: 4,5 (пятое поколение семейства ERNIE, преемник ERNIE 4.0)
- Архитектура: гетерогенная мультимодальная MoE с модality-изолированной маршрутизацией (modality-isolated routing) и раздельными экспертами для текста и зрения[3]
- Параметры: 10 вариантов; наибольший ERNIE-4.5-VL-424B-A47B — 424 млрд всего / 47 млрд активных; текстовый ERNIE-4.5-300B-A47B — 300 млрд / 47 млрд; ERNIE-4.5-21B-A3B — 21 млрд / 3 млрд; VL-28B-A3B — 28 млрд / 3 млрд; плотный ERNIE-4.5-0.3B[3][4]
- Идентификаторы: baidu/ERNIE-4.5-* (Hugging Face, GitHub); API — ernie-4.5-turbo-32k, ernie-4.5-turbo-128k, ernie-4.5-turbo-vl-32k[5]
- Контекстное окно: 131 072 токенов (открытые модели)[4]; Turbo-версии API — 32K и 128K[5]
- Модальности: вход — текст, изображения, аудио, видео; выход — текст[1]
- Режим мышления: VL-варианты поддерживают режимы thinking и non-thinking[3]
- Граница знаний: публично не раскрыта
- Выпуск: 16 марта 2025 года (анонс); 30 июня 2025 года (открытые веса)
- Стоимость (API Qianfan): вход от ¥0,004 за 1000 токенов, выход — ¥0,016[1]; Turbo-версии — ¥0,8 и ¥3,2 за 1 млн токенов[5]
- Лицензия: Apache 2.0 (открытые веса)[4]
- Обучение: PaddlePaddle, 47 % MFU при предобучении крупнейшей языковой модели; пост-обучение — SFT, DPO, UPO[3]
История и разработка
В феврале 2025 года Baidu объявила о планах сделать ERNIE Bot полностью бесплатным для индивидуальных пользователей с 1 апреля и выложить модели ERNIE в открытый доступ с 30 июня[6]. 16 марта 2025 года компания представила ERNIE 4.5 — «нативную мультимодальную» базовую модель с совместным моделированием разных модальностей — вместе с рассуждающей моделью ERNIE X1[1]. В тот же день доступ индивидуальных пользователей к обеим моделям через ERNIE Bot был сделан бесплатным раньше намеченного срока. Ключевыми технологиями модели были названы динамическая маска внимания «FlashMask», гетерогенный мультимодальный MoE, сжатие пространственно-временных представлений, построение обучающих данных вокруг знаний и пост-обучение с самообратной связью; по заявлению компании, ERNIE 4.5 превосходит GPT-4.5 по ряду бенчмарков при цене в 1 % от его стоимости[1].
30 июня 2025 года Baidu выпустила в открытый доступ всё семейство из десяти вариантов — от MoE-моделей с 47 млрд активных параметров (крупнейшая — 424 млрд общих) до плотной модели на 0,3 млрд — вместе с инструментальной обвязкой ERNIEKit на базе PaddlePaddle и техническим отчётом[2][3][7]. Гетерогенная структура MoE с раздельными экспертами для текста и зрения позволила усилить мультимодальное понимание без ущерба для текстовых задач; наибольшая языковая модель была предобучена с утилизацией 47 % MFU, а базовая ERNIE-4.5-300B-A47B, по данным отчёта, превзошла DeepSeek-V3-671B-A37B-Base на 22 из 28 бенчмарков[3][7]. Веса опубликованы в форматах PaddlePaddle и PyTorch и распространяются по лицензии Apache 2.0, допускающей коммерческое использование[4].
Для корпоративных пользователей API ERNIE 4.5 был доступен через платформу Qianfan с ценами от ¥0,004 за 1000 входных и ¥0,016 за 1000 выходных токенов[1]; модель также планировалась к интеграции в поиск Baidu и приложение Wenxiaoyan[1]. Позднее на Qianfan были выпущены удешевлённые версии ERNIE-4.5-Turbo-32K и ERNIE-4.5-Turbo-128K с ценой ¥0,8 за 1 млн входных и ¥3,2 за 1 млн выходных токенов — на 80 % дешевле исходной ERNIE 4.5, а также мультимодальная ERNIE-4.5-Turbo-VL-32K, впервые получившая контекст 32K[5].
Ссылки
- ERNIE 4.5 Technical Report — технический отчёт ERNIE Team, Baidu
- PaddlePaddle/ERNIE — официальный репозиторий ERNIE 4.5 и ERNIEKit, GitHub
- ERNIE-4.5-300B-A47B — карточка модели, Hugging Face (baidu)
См. также
Примечания
- ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 Baidu Unveils ERNIE 4.5 and Reasoning Model ERNIE X1, Makes ERNIE Bot Free Ahead of Schedule — пресс-релиз Baidu, PR Newswire, 16 марта 2025 года.
- ↑ 2,0 2,1 Baidu releases open source model family ERNIE 4.5 — The Decoder, 30 июня 2025 года.
- ↑ 3,0 3,1 3,2 3,3 3,4 3,5 Announcing the Open Source Release of the ERNIE 4.5 Model Family — ERNIE (ernie.baidu.com), 30 июня 2025 года.
- ↑ 4,0 4,1 4,2 4,3 ERNIE-4.5-300B-A47B — карточка модели, Hugging Face (baidu).
- ↑ 5,0 5,1 5,2 5,3 最新文心大模型上线千帆，性能飞跃，价格大降 («Обновлённые модели ERNIE на Qianfan: скачок производительности, снижение цен») — Qianfan, qianfan.cloud.baidu.com.
- ↑ China's Baidu to make latest Ernie AI model open-source as competition heats up — Reuters, февраль 2025 года.
- ↑ 7,0 7,1 ERNIE 4.5 Technical Report — ERNIE Team, Baidu, 2025.