Gemini 3 Pro

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

Gemini 3 Pro — проприетарная нативно мультимодальная модель рассуждений компании Google DeepMind, открывшая третье поколение семейства Gemini. Cогласно модельной карте Google, она построена на основе трансформерной архитектуры с разреженной смесью экспертов (MoE), поддерживает обработку текста, изображений, аудио и видео и ориентирована на агентные сценарии, сложное программирование и алгоритмическую разработку. Модель была представлена 18 ноября 2025 года.

Оценка

Gemini 3 Pro оценивалась по широкому набору тестов (бенчмарков), охватывающих способности к рассуждению, мультимодальные возможности, использование инструментов в агентных сценариях, многоязычную обработку данных и работу с длинным контекстом. Дополнительные тесты, сведения о подходе к оценке, результатах и применяемых методологиях опубликованы в методологии оценки Gemini 3 Pro.

Согласно Model Card Google DeepMind, Gemini 3 Pro значительно превосходит Gemini 2.5 Pro в ряде бенчмарков, требующих развитых способностей к рассуждению и мультимодальной обработке данных. Приведённые ниже результаты актуальны по состоянию на ноябрь 2025 года.[1]

Benchmark Description Gemini 3 Pro Gemini 2.5 Pro Claude Sonnet 4.5 GPT-5.1
Humanity’s Last Exam Academic reasoning No tools
With search and
code execution
37.5%
45.8%
21.6%
—
13.7%
—
26.5%
—
ARC-AGI-2 Visual reasoning puzzles ARC Prize Verified 31.1% 4.9% 13.6% 17.6%
GPQA Diamond Scientific knowledge No tools 91.9% 86.4% 83.4% 88.1%
AIME 2025 Mathematics No tools
With code execution
95.0%
100%
88.0%
—
87.0%
100%
94.0%
—
MathArena Apex Challenging Math Contest
problems
23.4% 0.5% 1.6% 1.0%
MMMU-Pro Multimodal understanding and
reasoning
81.0% 68.0% 68.0% 76.0%
ScreenSpot-Pro Screen understanding 72.7% 11.4% 36.2% 3.5%
CharXiv Reasoning Information synthesis from
complex charts
81.4% 69.6% 68.5% 69.5%
OmniDocBench 1.5 OCR Overall Edit Distance,
lower is better
0.115 0.145 0.145 0.147
Video-MMMU Knowledge acquisition from
videos
87.6% 83.6% 77.8% 80.4%
LiveCodeBench Pro Competitive coding problems
from Codeforces, ICPC, and IOI
Elo Rating,
higher is better
2,439 1,775 1,418 2,243
Terminal-Bench 2.0 Agentic terminal coding Terminus-2 agent 54.2% 32.6% 42.8% 47.6%
SWE-Bench Verified Agentic coding Single attempt 76.2% 59.6% 77.2% 76.3%
τ2-bench Agentic tool use 85.4% 54.9% 84.7% 80.2%
Vending-Bench 2 Long-horizon agentic tasks Net worth (mean),
higher is better
$5,478.16 $573.64 $3,838.74 $1,473.43
FACTS Benchmark Suite Held out internal grounding,
parametric, MM, and search
retrieval benchmarks
70.5% 63.4% 50.4% 50.8%
SimpleQA Verified Parametric knowledge 72.1% 54.5% 29.3% 34.9%
MMMLU Multilingual Q&A 91.8% 89.5% 89.1% 91.0%
Global PIQA Commonsense reasoning across
100 Languages and Cultures
93.4% 91.5% 90.1% 90.9%
MRCR v2 (8-needle) Long context performance 128k (average)
1M (pointwise)
77.0%
26.3%
58.0%
16.4%
47.1%
not supported
61.6%
not supported
  1. ↑ Google DeepMind. Gemini 3 Pro — Model Card. Выпуск: ноябрь 2025 года; последнее обновление: май 2026 года. С. 5.

См. также