ERNIE 3.5
ERNIE 3.5 — проприетарная большая языковая модель китайской компании Baidu, обновление линейки ERNIE 3.x и базовая модель чатбота ERNIE Bot; отличается усиленной работой со знаниями — разбиением запроса на фрагменты знаний с обращением к внутреннему графу знаний и внешним поисковым системам — и заявленным 50-процентным приростом качества относительно ERNIE 3.0 при двукратном росте пропускной способности обучения и 17-кратном росте пропускной способности инференса. Представлена 26 июня 2023 года в публичной бете ERNIE Bot (версия v2.1.0 с плагинами Baidu Search и ChatFile); весовые коэффициенты не публиковались, позднее модель предоставлялась через облачную платформу Baidu Qianfan (SKU ernie-3.5-8k).
Технические характеристики
- Поколение: ERNIE (серия 3.x; преемник ERNIE 3.0, предшественник ERNIE 4.0)
- Идентификатор: ERNIE Bot v2.1.0 (чатбот); ernie-3.5-8k (Baidu Qianfan)
- Параметры: публично не раскрыты (проприетарная модель, весовые коэффициенты не публиковались)
- Контекстное окно: 8192 токена (8 тыс., API-вариант ernie-3.5-8k)
- Модальности: только текст (вход и выход)
- Режим мышления: не поддерживался (модель создана до эпохи reasoning-моделей)
- Граница знаний: публично не раскрыта
- Выпуск: 26 июня 2023
- Стоимость: в чатботе ERNIE Bot — бесплатный уровень (с ноября 2023 года付费-подписка касалась только ERNIE 4.0, ¥59,90 в месяц); в облаке Baidu Qianfan — тарификация по токенам
- Методы обучения, по данным Baidu: многоэтапное супервизируемое тонкое настройство нескольких типов, многоступенчатая система вознаграждений, комбинация нескольких функций потерь и «двухфлайwheelная» оптимизация модели; механизм Knowledge Snippet Enhancement разбивает запрос на фрагменты знаний и использует граф знаний Baidu и внешние поисковые системы для построения ответа.
- Обзор модели — ERNIE Bot: Baidu's Knowledge-Enhanced Large Language Model в блоге Baidu Research.
История и разработка
ERNIE 3.5 была представлена 26 июня 2023 года: генеральный директор Baidu Робин Ли (Robin Li) детализировал модель, а 27 июня компания официально сообщила, что новая версия превзошла ChatGPT по ряду ключевых метрик[1][2]. Модель стала основой обновления чатбота ERNIE Bot v2.1.0 (выпущено 21 июня 2023 года), впервые добавившего поддержку плагинов — Baidu Search (поиск в интернете) и ChatFile (суммаризация длинных текстов и генерация FAQ), с планами открытия платформы для сторонних разработчиков[3][4]. По заявлениям технического директора Baidu Ван Хайфэна (Wang Haifeng), улучшения затронули генерацию кода, вопросно-ответные сценарии, творческое письмо и рассуждения[4].
Отличительной чертой релиза стало усиление «знаниевой» составляющей ERNIE: метод Knowledge Snippet Enhancement разбивает запрос на релевантные фрагменты знаний, обращается к внутреннему графу знаний и внешним поисковым системам, а затем формирует дополнительные промпты; по данным Baidu, это «существенно усиливает понимание и использование моделью знаний о мире»[3]. Тесты, процитированные государственной China Science Daily, показали превосходство ERNIE 3.5 над ChatGPT (GPT-3.5) и GPT-4 на китайскоязычных вступительных и квалификационных экзаменах и на тесте из более чем 13 000 вопросов по 50+ предметам; на англоязычных задачах модель обошла ChatGPT, но уступила GPT-4, а в тесте американских университетов осталась позади обеих[4]. В целом на момент выпуска качество модели оценивалось как «слегка уступающее GPT-4»[5].
После открытия ERNIE Bot для широкой публики 31 августа 2023 года (после одобрения регуляторов) ERNIE 3.5 осталась бесплатным уровнем сервиса: вышедшая в октябре 2023 года на конференции Baidu World модель ERNIE 4.0 предоставлялась платно с 1 ноября (¥59,90 в месяц), тогда как версия 3.5 сохранялась бесплатно[5]. В дальнейшем линейка ERNIE сместилась к открытому распространению — ERNIE 4.5 была выпущена с открытыми весами[5].
Ссылки
- ERNIE Bot: Baidu's Knowledge-Enhanced Large Language Model — блог Baidu Research
- Ernie Bot — Википедия (англ.)
См. также
Примечания
- ↑ China's Baidu says its new AI beat ChatGPT on some metrics. Reuters (через AsiaOne). 27 июня 2023.
- ↑ Baidu’s Ernie Beats OpenAI’s ChatGPT in Key Tests, Company Says. Bloomberg. 27 июня 2023.
- ↑ 3,0 3,1 Baidu unveils Ernie Bot 3.5, which it claims is 50 percent better than 3.0. The Decoder. 2 июля 2023.
- ↑ 4,0 4,1 4,2 Baidu's Ernie Bot makes significant strides, beats ChatGPT on key tests. IBTimes UK. Июнь 2023.
- ↑ 5,0 5,1 5,2 Ernie Bot. Wikipedia.