Grok-1.5 Vision

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску
Grok-1.5 Vision
Grok
Логотип Grok
Общие сведения
РазработчикSpaceXAI
Дата выпуска12 апреля 2024 года (анонс)
ПредшественникGrok-1.5
ДоступностьАнонсирована для ранних тестеров и существующих пользователей Grok; публично не выпущена
ЛицензияПроприетарная
Технические характеристики
АрхитектураПервое мультимодальное поколение семейства: обработка документов, диаграмм, графиков, скриншотов и фотографий; сильное пространственное понимание физического мира
МодальностиТекст и изображения на входе; текст на выходе
Эксплуатация и ссылки
API / ДокументацияДокументация SpaceXAI
ПубликацияGrok-1.5 Vision Preview в объявлении SpaceXAI
SpaceXAI

Grok-1.5 Vision (также Grok-1.5V) — большая языковая модель компании SpaceXAI, входящая в семейство Grok и отличающаяся тем, что стала первым мультимодальным поколением семейства: в дополнение к тексту обрабатывает визуальную информацию — документы, диаграммы, графики, скриншоты и фотографии.

Модель была анонсирована 12 апреля 2024 года.

Технические характеристики

  • Поколение: Grok-1.5V
  • Статус: публично не выпущена
  • Модальности: текст и изображения на входе, текст на выходе
  • Выпуск: 12 апреля 2024 года (анонс)
  • Конкурентна флагманским мультимодальным моделям (GPT-4V, Claude 3, Gemini 1.5 Pro) в междисциплинарном рассуждении и понимании документов, научных диаграмм, графиков, скриншотов и фотографий; оценка проводилась в zero-shot режиме без chain-of-thought-промптинга[1].
  • Превзошла конкурентов на бенчмарке RealWorldQA: 68,7 % против 61,4 % у GPT-4V, 67,5 % у Gemini 1.5 Pro, 51,9 % у Claude 3 Sonnet и 49,8 % у Claude 3 Opus[1].
  • Умеет переводить диаграммы и блок-схемы в программный код (например, в Python)[1].
  • Технические детали — Grok-1.5 Vision Preview в объявлении SpaceXAI.

История и разработка

12 апреля 2024 года SpaceXAI представила Grok-1.5V как первое мультимодальное поколение семейства Grok, «соединяющее цифровой и физический миры». Модель должна была «скоро» стать доступной ранним тестерам и существующим пользователям Grok[1].

Вместе с моделью компания представила новый бенчмарк RealWorldQA, оценивающий базовое пространственное понимание реального мира мультимодальными моделями. Первоначальный выпуск содержал более 700 изображений с вопросами и легко проверяемыми ответами; датасет опубликован под лицензией CC BY-ND 4.0[1].

В публичный релиз модель так и не вышла; мультимодальные наработки были использованы в последующих версиях семейства: Grok-2 получила понимание изображений в октябре 2024 года[2].

Ссылки

См. также

Примечания

  1. ↑ 1,0 1,1 1,2 1,3 1,4 Grok-1.5 Vision Preview. SpaceXAI. 12 апреля 2024.
  2. ↑ «Elon Musk's xAI adds image understanding capabilities to Grok». TechCrunch. 28 октября 2024.