Gemini 1.0 Ultra

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску
Gemini 1.0 Ultra
Gemini — поколение 1.0
Логотип Gemini
Общие сведения
РазработчикGoogle DeepMind
Дата выпуска6 декабря 2023 года (анонс); 8 февраля 2024 года (широкий доступ через Gemini Advanced)
ПредшественникPaLM 2
ПреемникGemini 1.5 Pro
ДоступностьВыведена из эксплуатации (в мае 2024 заменена в Gemini Advanced на Gemini 1.5 Pro). Веса не публиковались; широкий доступ — только через подписку Gemini Advanced. В Gemini API, Google AI Studio и Vertex AI не предоставлялась
ЛицензияПроприетарная
Технические характеристики
АрхитектураПлотный (dense) decoder-only трансформер с multi-query attention; нативное мультимодальное обучение (текст, изображения, аудио, видео); обучение на TPU
Всего параметровНе раскрывались
Контекстное окно32 768 токенов
МодальностиВход: текст, изображения, аудио, видео; выход: текст
Актуальность знанийНе объявлялся
Эксплуатация и ссылки
ПубликацияGemini: A Family of Highly Capable Multimodal Models
Introducing Gemini

Gemini 1.0 Ultra (англ. Gemini 1.0 Ultra) — флагманская мультимодальная модель первого поколения семейства Gemini, разработанная Google DeepMind и представленная 6 декабря 2023 года вместе с универсальной Pro и компактной Nano[1]. Самая мощная модель поколения: превзошла текущий уровень техники на 30 из 32 широко используемых академических бенчмарков, а на MMLU с результатом 90,04 % стала первой моделью, превзошедшей уровень экспертов-людей (89,8 %)[2][1].

Технические характеристики

  • Поколение: Gemini 1.0 — первое поколение семейства Gemini; флагманский (самый крупный) размер.
  • Архитектура: плотный (dense) decoder-only трансформер с механизмом multi-query attention; как и все модели поколения 1.0, обучалась нативно мультимодально — интерливингом текста, изображений, аудио и видео в единой последовательности токенов[2].
  • Параметры: не раскрывались[2].
  • Контекстное окно: 32 768 токенов — одинаковое для всех моделей поколения 1.0[2].
  • Модальности: вход — текст, изображения, аудио и видео; выход — текст[2].
  • Дообучение: RLHF (обучение с подкреплением на основе обратной связи от людей) и проверки безопасности перед широким релизом — для всех размеров поколения[1].
  • Вычисления: обучение и инференс на тензорных процессорах Google TPU[1].
  • Доступ: только подписка Gemini Advanced; веса и параметры не публиковались; в API не предоставлялась[3].

Возможности

Gemini 1.0 Ultra создавалась для «сложнейших задач» — рассуждений, математики, программирования, анализа изображений, аудио и видео[1]. С техническим отчётом связаны её ключевые результаты:

  • MMLU: 90,04 % с подходом uncertainty-routed chain-of-thought с голосованием по 32 выборкам (CoT@32) — первая модель, превзошедшая уровень экспертов-людей (89,8 %); при обычной (greedy) генерации модель показывала 84,0 %[2][1].
  • GSM8K (задачи школьной математики): 94,4 % с chain-of-thought и self-consistency против прежнего лучшего результата ~92 %[2].
  • Общий счёт: превышение состояния техники на 30 из 32 академических бенчмарков LLM-исследований[1].

Являясь нативно мультимодальной, Ultra понимала и текст, и изображения, и аудио, и видео в единой модели без отдельных «пристёгнутых» преобразователей — ключевое архитектурное отличие от PaLM 2 и моделей конкурентов с раздельными модальностей[2].

История и разработка

6 декабря 2023 года Google представила семейство Gemini 1.0 в трёх размерах — Ultra (флагман для сложнейших задач), Pro (универсальная) и Nano (компактная, для устройств). Ultra планировалось сначала дать «избранным клиентам, разработчикам, партнёрам и экспертам по безопасности» для ранних экспериментов, а широкий доступ обещали через новый опыт Bard Advanced «в начале 2024 года»[1].

8 февраля 2024 года чат-бот Bard был переименован в Gemini, и Ultra 1.0 стала широко доступна подписчикам новой платной подписки Gemini Advanced (с двухмесячным бесплатным периодом); тогда же вышли мобильные приложения Gemini[3]. В отличие от Pro, модель никогда не открывалась через Gemini API, Google AI Studio или Vertex AI.

15 февраля 2024 года Google анонсировала Gemini 1.5 — модель, показывавшую качество на уровне Gemini 1.0 Ultra при значительно меньших вычислительных затратах, что предопределило судьбу флагмана[4]. С обновлением мая 2024 года (Google I/O 2024) подписчики Gemini Advanced получили Gemini 1.5 Pro, и роль флагманской модели подписки перешла к ней; Gemini 1.0 Ultra была фактически выведена из эксплуатации[5].

Критика

Запуск поколения сопровождался скандалом с демонстрационным роликом «Hands on with Gemini»: изображённое голосовое взаимодействие в реальном времени на деле было смонтировано — реплики вводились текстом, кадры заменены статичными, а ответы модели сокращены. Google признала, что ролик — иллюстративная демонстрация, а не запись живой сессии, и получила критику за преувеличение возможностей[6].

Критике подвергалась и закрытость модели: число параметров и состав обучающих данных не раскрывались, веса не публиковались, а общедоступная версия существовала только внутри платной подписки[2][3]. Результат 90,04 % на MMLU также сопровождался оговоркой: он достигнут в специальном режиме CoT@32, тогда как при обычной генерации модель показывала 84,0 %[2].

Значение

Gemini 1.0 Ultra — первая модель, формально превзошедшая экспертов-людей на MMLU, и первый нативно мультимодальный флагман Google эпохи объединённого Google DeepMind[2][1]. Поколение Gemini 1.0 стало прямым ответом Google на GPT-4 от OpenAI и заложило основу дальнейшей линейки: уже в Gemini 1.5 Google обещала сопоставимое с Ultra качество при меньших затратах, а последующие версии развивали режимы «мышления» и агентные возможности[4].

Ссылки

См. также

Примечания