Gemini 2.5 Pro
Gemini 2.5 Pro — мультимодальная большая языковая модель (LMM) компании Google DeepMind, первая модель семейства Gemini 2.5, формирующая внутренние рассуждения перед ответом («thinking») и нативно обрабатывающая текст, изображения, аудио и видео в контекстном окне объёмом 1 миллион токенов. Модель была представлена и открыта в экспериментальном доступе 25 марта 2025 года в Google AI Studio и приложении Gemini, а её стабильная общедоступная версия была выпущена 17 июня 2025 года.
Оценка
Gemini 2.5 Pro оценивалась по широкому набору тестов (бенчмарков), охватывающих рассуждение, научные знания, математику, генерацию и редактирование кода, агентное программирование, фактичность, мультимодальные возможности, понимание видео, работу с длинным контекстом и многоязычную обработку. Все результаты Gemini получены в режиме pass@1 через AI Studio API со стандартными настройками сэмплирования; результаты сторонних моделей взяты из отчётов их разработчиков, если не указано иное.
Согласно Model Card Google DeepMind, Gemini 2.5 Pro показала сильные результаты в ряде бенчмарков, требующих развитых способностей к рассуждению, а наиболее заметный прогресс — в задачах, связанных с кодом. Приведённые ниже результаты актуальны по состоянию на июнь 2025 года.[1]
| Benchmark | Description | Gemini 2.5 Pro (GA) |
Gemini 2.5 Pro (Preview 05-06) |
Gemini 2.5 Pro (Experimental 03-25) |
OpenAI o3 High | OpenAI o4-mini High | Claude 4 Sonnet | Claude 4 Opus (32K Thinking) |
Grok 3 Beta (Extended Thinking) |
DeepSeek R1 05-28 | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Humanity’s Last Exam | Reasoning & Knowledge | 21.6% | 17.8% | 18.8% | 20.3% | 18.1% | 7.8% | 10.7% | — | 14.0%* | |
| GPQA Diamond | Science | single attempt (pass@1) | 86.4% | 83.0% | 84.0% | 83.3% | 81.4% | 75.4% | 79.6% | 80.2% | 81.0% |
| AIME 2025 | Mathematics | single attempt (pass@1) | 88.0% | 83.0% | 86.7% | 88.9% | 92.7% | 70.5% | 75.5% | 77.3% | 87.5% |
| LiveCodeBench (10/1/2024 – 2/1/2025) |
Code generation | single attempt (pass@1) multiple attempts |
75.6% — |
70.4% — |
— — |
— — |
— — |
— — |
— — |
70.6% 79.4% |
— — |
| LiveCodeBench (1/1/2025 – 5/1/2025) |
Code generation | single attempt (pass@1) | 69.0% | — | — | 72.0% | 75.8% | 48.9% | 51.1% | — | 70.5% |
| Aider Polyglot | Code editing | whole / diff | 82.2% (diff-fenced) | 76.5% / 72.7% (whole/diff) |
74.0% / 68.6% (whole/diff) |
79.6% (diff) | 72.0% (diff) | 61.3% (diff) | 72.0% (diff) | 53.3% (diff) | 71.6% |
| SWE-Bench Verified | Agentic coding | Single attempt Multiple attempts |
59.6% — |
63.2% — |
63.8% — |
69.1% — |
68.1% — |
72.7% 80.2% |
72.5% 79.4% |
— — |
— 57.6% |
| SimpleQA | Factuality | 54.0% | 50.8% | 52.9% | 48.6% | 19.3% | — | — | 43.6% | 27.8% | |
| FACTS Grounding | Factuality | 87.8% | — | — | 69.6% | 62.1% | 79.1% | 77.7% | 74.8% | 82.4% | |
| MMMU | Visual reasoning | single attempt (pass@1) multiple attempts |
82.0% — |
79.6% — |
81.7% — |
82.9% — |
81.6% — |
74.4% — |
76.5% — |
76.0% 78.0% |
no MM support no MM support |
| Vibe-Eval (Reka) | Image understanding | 67.2% | 65.6% | 69.4% | — | — | — | — | — | no MM support | |
| VideoMME | Video | Audio, visual, subtitles | 86.9% | 84.8% | — | — | — | — | — | — | no MM support |
| Video-MMMU | Video understanding | 83.6% | — | — | — | — | — | — | — | — | |
| MRCR | Long context | 128k (average) 1M (pointwise) |
— — |
93.0% 82.9% |
94.5% 83.1% |
— — |
— — |
— — |
— — |
— — |
— — |
| MRCR v2 (8-needle) | Long context | 128k (average) 1M (pointwise) |
58.0% 16.4% |
— — |
— — |
57.1% — |
36.3% — |
39.1% — |
16.1%** — |
34.0% — |
— — |
| Global MMLU (Lite) | Multilingual performance | 89.2% | 88.6% | 89.8% | — | — | — | — | — | — |
- * DeepSeek R1 на Humanity's Last Exam оценивалась только на текстовых задачах (без изображений).
- ** Результат Claude 4 Opus на MRCR v2 получен без режима размышления и включает отказы API.
- ↑ Google DeepMind. Gemini 2.5 Pro — Model Card. Обновление: 27 июня 2025 года. С. 4–6.