Gemini 3 Flash

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

Gemini 3 Flash — проприетарная мультимодальная модель рассуждений компании Google DeepMind, построенная на рассуждающей основе Gemini 3 Pro и оптимизированная по задержке и стоимости инференса, с поддержкой настраиваемых уровней глубины рассуждений для выполнения агентных, программных и мультимодальных задач. Модель была представлена 17 декабря 2025 года.

Оценка

Gemini 3 Flash оценивалась по широкому набору тестов (бенчмарков), охватывающих способности к рассуждению, мультимодальные возможности, использование инструментов в агентных сценариях, многоязычную обработку данных и работу с длинным контекстом. Дополнительные тесты, сведения о подходе к оценке, результатах и методологиях опубликованы в методологии оценки Gemini 3 Flash.

Согласно Model Card Google DeepMind, Gemini 3 Flash значительно превосходит Gemini 2.5 Pro в ряде бенчмарков, требующих развитых способностей к рассуждению и мультимодальной обработке данных. Приведённые ниже результаты актуальны по состоянию на декабрь 2025 года.

Benchmark Description Gemini 3 Flash
Thinking
Gemini 3 Pro
Thinking
Gemini 2.5 Flash
Thinking
Gemini 2.5 Pro
Thinking
Claude Sonnet 4.5
Thinking
GPT-5.2
Extra high
Grok 4.1 Fast
Reasoning
Humanity's Last Exam Academic reasoning
(full set, text + MM)
No tools
With search and
code execution
33.7%
43.5%
37.5%
45.8%
11.0%
—
21.6%
—
13.7%
—
34.5%
45.5%
17.6%
—
ARC-AGI-2 Visual reasoning puzzles ARC Prize Verified 33.6% 31.1% 2.5% 4.9% 13.6% 52.9% —
GPQA Diamond Scientific knowledge No tools 90.4% 91.9% 82.8% 86.4% 83.4% 92.4% 84.3%
AIME 2025 Mathematics No tools
With code execution
95.2%
99.7%
95.0%
100%
72.0%
75.7%
88.0%
—
87.0%
100%
100%
—
91.9%
—
MMMU-Pro Multimodal understanding
and reasoning
81.2% 81.0% 66.7% 68.0% 68.0% 79.5% 63.0%
ScreenSpot-Pro Screen understanding No tools
unless specified
69.1% 72.7% 3.9% 11.4% 36.2% 86.3%
with python
—
CharXiv Reasoning Information synthesis
from complex charts
No tools 80.3% 81.4% 63.7% 69.6% 68.5% 82.1% —
OmniDocBench 1.5 OCR Overall Edit Distance,
lower is better
0.121 0.115 0.154 0.145 0.145 0.143 —
Video-MMMU Knowledge acquisition
from videos
86.9% 87.6% 79.2% 83.6% 77.8% 85.9% —
LiveCodeBench Pro Competitive coding problems
from Codeforces, ICPC, and IOI
Elo rating,
higher is better
2316 2439 1143 1775 1418 2393 —
Terminal-bench 2.0 Agentic terminal coding Terminus-2 harness 47.6% 54.2% 16.9% 32.6% 42.8% — —
SWE-bench Verified Agentic coding Single attempt 78.0% 76.2% 60.4% 59.6% 77.2% 80.0% 50.6%
τ2-bench Agentic tool use 90.2% 90.7% 79.5% 77.8% 87.2% — —
Toolathlon Long horizon real-world software tasks 49.4% 36.4% 3.7% 10.5% 38.9% 46.3% —
MCP Atlas Multi-step workflows using MCP 57.4% 54.1% 3.4% 8.8% 43.8% 60.6% —
Vending-Bench 2 Agentic long term coherence Net worth (mean),
higher is better
$3,635 $5,478 $549 $574 $3,839 $3,952 $1,107
FACTS Benchmark Suite Factuality benchmark across
grounding, parametric, search,
and MM
61.9% 70.5% 50.4% 63.4% 48.9% 61.4% 42.1%
SimpleQA Verified Parametric knowledge 68.7% 72.1% 28.1% 54.5% 29.3% 38.0% 19.5%
MMMLU Multilingual Q&A 91.8% 91.8% 86.6% 89.5% 89.1% 89.6% 86.8%
Global PIQA Commonsense reasoning across
100 Languages and Cultures
92.8% 93.4% 90.2% 91.5% 90.1% 91.2% 85.6%
MRCR v2 (8-needle) Long context performance 128K (average)
1M (pointwise)
67.2%
22.1%
77.0%
26.3%
54.3%
21.0%
58.0%
16.4%
47.1%
not supported
81.9%
not supported
54.6%
6.1%