Gemini 1.0 Ultra
| Gemini 1.0 Ultra | |
|---|---|
| Gemini — поколение 1.0 | |
Логотип Gemini | |
| Общие сведения | |
| Разработчик | Google DeepMind |
| Дата выпуска | 6 декабря 2023 года (анонс); 8 февраля 2024 года (широкий доступ через Gemini Advanced) |
| Предшественник | PaLM 2 |
| Преемник | Gemini 1.5 Pro |
| Доступность | Выведена из эксплуатации (в мае 2024 заменена в Gemini Advanced на Gemini 1.5 Pro). Веса не публиковались; широкий доступ — только через подписку Gemini Advanced. В Gemini API, Google AI Studio и Vertex AI не предоставлялась |
| Лицензия | Проприетарная |
| Технические характеристики | |
| Архитектура | Плотный (dense) decoder-only трансформер с multi-query attention; нативное мультимодальное обучение (текст, изображения, аудио, видео); обучение на TPU |
| Всего параметров | Не раскрывались |
| Контекстное окно | 32 768 токенов |
| Модальности | Вход: текст, изображения, аудио, видео; выход: текст |
| Актуальность знаний | Не объявлялся |
| Эксплуатация и ссылки | |
| Публикация | Gemini: A Family of Highly Capable Multimodal Models |
| Introducing Gemini | |
Gemini 1.0 Ultra (англ. Gemini 1.0 Ultra) — флагманская мультимодальная модель первого поколения семейства Gemini, разработанная Google DeepMind и представленная 6 декабря 2023 года вместе с универсальной Pro и компактной Nano[1]. Самая мощная модель поколения: превзошла текущий уровень техники на 30 из 32 широко используемых академических бенчмарков, а на MMLU с результатом 90,04 % стала первой моделью, превзошедшей уровень экспертов-людей (89,8 %)[2][1].
Технические характеристики
- Поколение: Gemini 1.0 — первое поколение семейства Gemini; флагманский (самый крупный) размер.
- Архитектура: плотный (dense) decoder-only трансформер с механизмом multi-query attention; как и все модели поколения 1.0, обучалась нативно мультимодально — интерливингом текста, изображений, аудио и видео в единой последовательности токенов[2].
- Параметры: не раскрывались[2].
- Контекстное окно: 32 768 токенов — одинаковое для всех моделей поколения 1.0[2].
- Модальности: вход — текст, изображения, аудио и видео; выход — текст[2].
- Дообучение: RLHF (обучение с подкреплением на основе обратной связи от людей) и проверки безопасности перед широким релизом — для всех размеров поколения[1].
- Вычисления: обучение и инференс на тензорных процессорах Google TPU[1].
- Доступ: только подписка Gemini Advanced; веса и параметры не публиковались; в API не предоставлялась[3].
Возможности
Gemini 1.0 Ultra создавалась для «сложнейших задач» — рассуждений, математики, программирования, анализа изображений, аудио и видео[1]. С техническим отчётом связаны её ключевые результаты:
- MMLU: 90,04 % с подходом uncertainty-routed chain-of-thought с голосованием по 32 выборкам (CoT@32) — первая модель, превзошедшая уровень экспертов-людей (89,8 %); при обычной (greedy) генерации модель показывала 84,0 %[2][1].
- GSM8K (задачи школьной математики): 94,4 % с chain-of-thought и self-consistency против прежнего лучшего результата ~92 %[2].
- Общий счёт: превышение состояния техники на 30 из 32 академических бенчмарков LLM-исследований[1].
Являясь нативно мультимодальной, Ultra понимала и текст, и изображения, и аудио, и видео в единой модели без отдельных «пристёгнутых» преобразователей — ключевое архитектурное отличие от PaLM 2 и моделей конкурентов с раздельными модальностей[2].
История и разработка
6 декабря 2023 года Google представила семейство Gemini 1.0 в трёх размерах — Ultra (флагман для сложнейших задач), Pro (универсальная) и Nano (компактная, для устройств). Ultra планировалось сначала дать «избранным клиентам, разработчикам, партнёрам и экспертам по безопасности» для ранних экспериментов, а широкий доступ обещали через новый опыт Bard Advanced «в начале 2024 года»[1].
8 февраля 2024 года чат-бот Bard был переименован в Gemini, и Ultra 1.0 стала широко доступна подписчикам новой платной подписки Gemini Advanced (с двухмесячным бесплатным периодом); тогда же вышли мобильные приложения Gemini[3]. В отличие от Pro, модель никогда не открывалась через Gemini API, Google AI Studio или Vertex AI.
15 февраля 2024 года Google анонсировала Gemini 1.5 — модель, показывавшую качество на уровне Gemini 1.0 Ultra при значительно меньших вычислительных затратах, что предопределило судьбу флагмана[4]. С обновлением мая 2024 года (Google I/O 2024) подписчики Gemini Advanced получили Gemini 1.5 Pro, и роль флагманской модели подписки перешла к ней; Gemini 1.0 Ultra была фактически выведена из эксплуатации[5].
Критика
Запуск поколения сопровождался скандалом с демонстрационным роликом «Hands on with Gemini»: изображённое голосовое взаимодействие в реальном времени на деле было смонтировано — реплики вводились текстом, кадры заменены статичными, а ответы модели сокращены. Google признала, что ролик — иллюстративная демонстрация, а не запись живой сессии, и получила критику за преувеличение возможностей[6].
Критике подвергалась и закрытость модели: число параметров и состав обучающих данных не раскрывались, веса не публиковались, а общедоступная версия существовала только внутри платной подписки[2][3]. Результат 90,04 % на MMLU также сопровождался оговоркой: он достигнут в специальном режиме CoT@32, тогда как при обычной генерации модель показывала 84,0 %[2].
Значение
Gemini 1.0 Ultra — первая модель, формально превзошедшая экспертов-людей на MMLU, и первый нативно мультимодальный флагман Google эпохи объединённого Google DeepMind[2][1]. Поколение Gemini 1.0 стало прямым ответом Google на GPT-4 от OpenAI и заложило основу дальнейшей линейки: уже в Gemini 1.5 Google обещала сопоставимое с Ultra качество при меньших затратах, а последующие версии развивали режимы «мышления» и агентные возможности[4].
Ссылки
- Gemini — статья в английской Википедии
- Gemini — статья в русской Википедии
- Gemini — статья в Baidu Baike (на китайском)
- Introducing Gemini: Google's most capable AI model yet — Google (6 декабря 2023)
- Gemini: A Family of Highly Capable Multimodal Models — технический отчёт Google DeepMind (6 декабря 2023)
- Google Bard is now Gemini: How to try Ultra 1.0 and new mobile app — Google (8 февраля 2024)
- Introducing Gemini 1.5, Google's next-generation AI model — Google (15 февраля 2024)
- Google Gemini update: Access to 1.5 Pro and new features — Google (Google I/O 2024)
- Google admits AI viral video was edited to look better — BBC News (8 декабря 2023)
См. также
- Gemini
- Gemini 1.0 Pro
- Gemini 1.0 Nano
- Gemini 1.5 Pro
- Google DeepMind
- PaLM
- LaMDA
- Мультимодальные LLM
- GPT-4
- Большие языковые модели
Примечания
- ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 Introducing Gemini: Google's most capable AI model yet. Google. 6 декабря 2023.
- ↑ 2,00 2,01 2,02 2,03 2,04 2,05 2,06 2,07 2,08 2,09 2,10 Gemini: A Family of Highly Capable Multimodal Models. Google DeepMind, arXiv:2312.11805. 6 декабря 2023.
- ↑ 3,0 3,1 3,2 Google Bard is now Gemini: How to try Ultra 1.0 and new mobile app. Google. 8 февраля 2024.
- ↑ 4,0 4,1 Introducing Gemini 1.5, Google's next-generation AI model. Google. 15 февраля 2024.
- ↑ Google Gemini update: Access to 1.5 Pro and new features. Google. Май 2024 (Google I/O 2024).
- ↑ Google admits AI viral video was edited to look better. BBC News. 8 декабря 2023.