Grok-1
Grok-1 — большая языковая модель компании SpaceXAI, входящая в семейство Grok и отличающаяся авторегрессионной архитектурой на основе трансформера с контекстным окном в 8 192 токена.
Модель была представлена 3 ноября 2023 года в качестве основы чат-бота Grok.
Технические характеристики
- Поколение: Grok-1
- Статус: заменена более поздними вариантами
- Контекстное окно: 8 192 токена
- Архитектура: авторегрессионный трансформер (Mixture-of-Experts, 314 млрд параметров в открытой версии базовой модели)
- Выпуск: 3 ноября 2023 года (чат-бот), открытые веса базовой модели — 17 марта 2024 года
- Технические детали — Announcing Grok и Open Release of Grok-1 SpaceXAI.
История и разработка
3 ноября 2023 года SpaceXAI представила чат-бот Grok, основой которого служила модель Grok-1. Согласно объявлению, Grok задуман как ИИ, смоделированный по образцу «Автостопом по Галактике», способный отвечать практически на любые вопросы и предлагать новые. Модель разрабатывалась в течение четырёх месяцев, предшествовала прототипу Grok-0 с 33 млрд параметров, и на момент анонса находилась в ранней бета-версии с ограниченным доступом через список ожидания на платформе 𝕏[1].
17 марта 2024 года SpaceXAI опубликовала веса и архитектуру базовой модели Grok-1 — Mixture-of-Experts с 314 млрд параметров, обученной с нуля и не дообученной для диалога, под лицензией Apache 2.0. В дальнейшем модель была заменена более поздними версиями семейства Grok[2].
Ссылки
- Announcing Grok — официальное объявление SpaceXAI (3 ноября 2023)
- Open Release of Grok-1 — публикация открытых весов (17 марта 2024)
См. также
Примечания
- ↑ Announcing Grok. SpaceXAI. 3 ноября 2023.
- ↑ Open Release of Grok-1. SpaceXAI. 17 марта 2024.