Grok-1.5 Vision
| Grok-1.5 Vision | |
|---|---|
| Grok | |
Логотип Grok | |
| Общие сведения | |
| Разработчик | SpaceXAI |
| Дата выпуска | 12 апреля 2024 года (анонс) |
| Предшественник | Grok-1.5 |
| Доступность | Анонсирована для ранних тестеров и существующих пользователей Grok; публично не выпущена |
| Лицензия | Проприетарная |
| Технические характеристики | |
| Архитектура | Первое мультимодальное поколение семейства: обработка документов, диаграмм, графиков, скриншотов и фотографий; сильное пространственное понимание физического мира |
| Модальности | Текст и изображения на входе; текст на выходе |
| Эксплуатация и ссылки | |
| API / Документация | Документация SpaceXAI |
| Публикация | Grok-1.5 Vision Preview в объявлении SpaceXAI |
| SpaceXAI | |
Grok-1.5 Vision (также Grok-1.5V) — большая языковая модель компании SpaceXAI, входящая в семейство Grok и отличающаяся тем, что стала первым мультимодальным поколением семейства: в дополнение к тексту обрабатывает визуальную информацию — документы, диаграммы, графики, скриншоты и фотографии.
Модель была анонсирована 12 апреля 2024 года.
Технические характеристики
- Поколение: Grok-1.5V
- Статус: публично не выпущена
- Модальности: текст и изображения на входе, текст на выходе
- Выпуск: 12 апреля 2024 года (анонс)
- Конкурентна флагманским мультимодальным моделям (GPT-4V, Claude 3, Gemini 1.5 Pro) в междисциплинарном рассуждении и понимании документов, научных диаграмм, графиков, скриншотов и фотографий; оценка проводилась в zero-shot режиме без chain-of-thought-промптинга[1].
- Превзошла конкурентов на бенчмарке RealWorldQA: 68,7 % против 61,4 % у GPT-4V, 67,5 % у Gemini 1.5 Pro, 51,9 % у Claude 3 Sonnet и 49,8 % у Claude 3 Opus[1].
- Умеет переводить диаграммы и блок-схемы в программный код (например, в Python)[1].
- Технические детали — Grok-1.5 Vision Preview в объявлении SpaceXAI.
История и разработка
12 апреля 2024 года SpaceXAI представила Grok-1.5V как первое мультимодальное поколение семейства Grok, «соединяющее цифровой и физический миры». Модель должна была «скоро» стать доступной ранним тестерам и существующим пользователям Grok[1].
Вместе с моделью компания представила новый бенчмарк RealWorldQA, оценивающий базовое пространственное понимание реального мира мультимодальными моделями. Первоначальный выпуск содержал более 700 изображений с вопросами и легко проверяемыми ответами; датасет опубликован под лицензией CC BY-ND 4.0[1].
В публичный релиз модель так и не вышла; мультимодальные наработки были использованы в последующих версиях семейства: Grok-2 получила понимание изображений в октябре 2024 года[2].
Ссылки
- Grok-1.5 Vision Preview — официальное объявление SpaceXAI (12 апреля 2024)
- Grok — статья в английской Википедии
См. также
Примечания
- ↑ 1,0 1,1 1,2 1,3 1,4 Grok-1.5 Vision Preview. SpaceXAI. 12 апреля 2024.
- ↑ «Elon Musk's xAI adds image understanding capabilities to Grok». TechCrunch. 28 октября 2024.