ARC-AGI-2

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

ARC-AGI-2 (Abstraction and Reasoning Corpus for Artificial General Intelligence 2) — бенчмарк для оценки few-shot-абстрактного рассуждения, композициональной обобщающей способности и эффективного приобретения новых навыков решения задач системами искусственного интеллекта. Разработан фондом ARC Prize Foundation как преемник ARC-AGI-1; публично представлен в марте 2025 года. Дизайн и методология калибровки на людях описаны Франсуа Шолле (François Chollet), Майком Кнупом (Mike Knoop), Грегори Камрадтом (Gregory Kamradt), Брайаном Ландерсом (Bryan Landers) и Генри Пинкардом (Henry Pinkard) в работе ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems[1].

Каждая задача ARC-AGI-2 содержит небольшое число примеров преобразований между двумерными сетками из цветных ячеек. Правило преобразования не описывается на естественном языке. Человек или ИИ-система должен вывести скрытое правило из примеров и применить его к одному или нескольким ранее не виденным входным сеткам. Корректное решение должно точно воспроизводить требуемые размеры выходной сетки, значения ячеек, положения объектов и цвета.

Публичный релиз содержит 1 000 учебных задач (training tasks) и 120 публичных оценочных задач. Два дополнительных откалиброванных набора содержат по 120 задач: полузакрытый (semi-private) оценочный набор, используемый для контролируемой верификации моделей и оперативной обратной связи на соревнованиях, и полностью закрытый (private) оценочный набор для финального подсчёта результатов. Каждая оценочная задача была решена не более чем за две попытки по меньшей мере двумя независимыми человеческими участниками[2][3].

Изначально ARC-AGI-2 был крайне сложен для ИИ-систем. Сильнейшие базовые результаты, опубликованные в мае 2025 года, составили около 3 % на полузакрытом оценочном наборе, а победившая открытая работа конкурса ARC Prize 2025 достигла 24,03 % на закрытом наборе[1][4]. Впоследствии прогресс ускорился: 9 июля 2026 года официальная страница верифицированных результатов сообщила 92,5 % для GPT-5.6 Sol в режиме максимального рассуждения и 85,4 % в режиме высокого рассуждения[5].

Верифицированный результат проприетарной модели не эквивалентен победе в конкурсе ARC Prize. Конкурсные работы должны выполняться офлайн в рамках ресурсных ограничений Kaggle, подавать по два выходных кандидата на каждый тестовый вход и публиковаться под открытой лицензией для права на призы[6].

ARC-AGI не следует путать с AI2 Reasoning Challenge — отдельным бенчмарком вопросов по естественным наукам в формате множественного выбора, также часто сокращаемым как ARC.

Предыстория

ARC-AGI-2 основан на теории интеллекта, предложенной Франсуа Шолле в работе 2019 года On the Measure of Intelligence. Работа определяет интеллект прежде всего через эффективность приобретения системой новых навыков, а не через общее число задач, которые она способна выполнять после интенсивного обучения[7].

Согласно этой точке зрения, система не должна получать сильные свидетельства общего интеллекта лишь потому, что она запомнила большое число решений или усвоила обширные предметные знания. Более информативная оценка предъявляет системе принципиально новые задачи, даёт лишь несколько демонстраций и измеряет, может ли система эффективно построить подходящее новое решение.

Оригинальный Abstraction and Reasoning Corpus, позднее названный ARC-AGI-1, реализовал эту идею через небольшие задачи преобразования сеток. Он проектировался вокруг трёх принципов:

  • каждая оценочная задача должна быть достаточно новой, чтобы противостоять прямому запоминанию;
  • решение задачи должно требовать мало специализированных предметных знаний или вовсе обходиться без них;
  • обычные люди должны уметь выводить задуманное правило из небольшого числа примеров.

В 2020—2024 годах ARC-AGI-1 стал предметом публичных соревнований. В течение нескольких лет прогресс оставался ограниченным, однако адаптация в момент инференса (test-time adaptation), генерация синтетических данных, программный поиск и рассуждающие модели дали существенные улучшения в 2024 году[8].

Эти достижения выявили ограничения исходного бенчмарка и мотивировали разработку ARC-AGI-2.

Ограничения ARC-AGI-1, устраняемые в ARC-AGI-2

Ограничение ARC-AGI-1 Следствие Ответ ARC-AGI-2
Уязвимость к исчерпывающему программному поиску Некоторые задачи можно было решить перебором больших пространств предопределённых преобразований, не строя широко переиспользуемую абстракцию. Задачи, уязвимые для известных стратегий «грубой силы», исключены из оценочных наборов; новые задачи спроектированы так, чтобы требовать более контекстного и композиционального рассуждения.
Ограниченные официальные данные о людях Решаемость людьми была известна неформально, но закрытые конкурсные задачи не имели большой первичной выборки, собранной в стандартизованных условиях. Более 400 человек участвовали в контролируемом тестировании, использованном для отбора и калибровки новых оценочных задач.
Раннее насыщение людьми Сильные человеческие решатели могли завершить почти все задачи ARC-AGI-1, что оставляло малое разрешение в верхней части диапазона человеческих способностей. ARC-AGI-2 включает задачи, требующие более вдумчивого рассуждения, но при этом решаемые обычными участниками.
Неравная сложность поднаборов Результаты на публичном, полузакрытом и закрытом наборах могли расходиться, поскольку наборы не представляли одно и то же распределение сложности. Три оценочных набора ARC-AGI-2 разделены на основе данных о человеческой результативности так, что их средняя сложность различается примерно на один процентный пункт.
Многократная обратная связь по закрытому набору Тысячи отправок на лидерборд против одного и того же скрытого набора создавали постепенный канал косвенного переобучения. ARC-AGI-2 представил заново сформированные полузакрытый и закрытый наборы и отделил оперативную обратную связь от финального закрытого подсчёта.
Ограниченная композициональная глубина Многие задачи описывались одним глобальным преобразованием: отражением, сдвигом, перекраской или извлечением объекта. ARC-AGI-2 делает акцент на взаимодействующих правилах, последовательных преобразованиях, контекстном управлении и символах, значения которых определяются внутри задачи.

Новый бенчмарк сохраняет базовый интерфейс ARC-AGI-1, чтобы существующие просмотрщики, загрузчики данных, системы программного синтеза и обучающие конвейеры можно было переиспользовать. Главное изменение заключается поэтому не в видимом формате данных, а в распределении и когнитивной структуре задач[1].

Цели разработки

Авторы ARC-AGI-2 определили шесть основных целей[1]:

Цель Описание
Сохранить исходные принципы Задачи должны оставаться новыми, требовать лишь элементарных когнитивных приоров и быть доступными человеческому рассуждению без специальной фактической подготовки.
Сохранить формат задач Демонстрации «вход-выход» и тестовые входы остаются сетками размером до 30 × 30 с десятью дискретными значениями.
Снизить решаемость грубой силой Оценочные задачи должны меньше вознаграждать исчерпывающий перебор знакомых преобразований.
Установить первичные человеческие базовые уровни Отбор задач и оценки сложности должны опираться на контролируемое тестирование, а не на неформальные предположения о человеческих способностях.
Повысить разрешение по баллам Бенчмарк должен различать системы в более широком диапазоне рассуждающей способности вместо кластеризации большинства систем около нуля или быстрого насыщения «потолком».
Откалибровать оценочные поднаборы Публичные, полузакрытые и закрытые оценки должны быть сопоставимы, если система не переобучилась на один из поднаборов.

Создатели описывают бенчмарк как тест общего флюидного интеллекта. Это теоретическое и операциональное утверждение о том, что задачи предназначены измерять; высокий балл сам по себе не доказывает, что система обладает всеми способностями, обычно связываемыми с искусственным общим интеллектом.

Формат задач

Сетки и значения ячеек

Сетка ARC-AGI-2 — прямоугольная матрица, содержащая целые числа от 0 до 9. Просмотрщик обычно отображает числа как цвета, однако соответствие чисел и отображаемых цветов является условным, а не семантически фиксированным.

Размеры сеток варьируются от 1 × 1 до 30 × 30. Выходная сетка может иметь те же размеры, что и входная, либо быть больше, меньше, обрезанной, расширенной, повёрнутой, размноженной мозаикой или иным образом переструктурированной.

Решатель должен определить:

  • какие ячейки образуют значимые объекты;
  • какие визуальные или отношенческие свойства существенны;
  • какие примеры иллюстрируют одно и то же скрытое правило;
  • действуют ли несколько правил одновременно или последовательно;
  • как определяются размеры выхода;
  • какие объекты следует отбирать, преобразовывать, комбинировать или отбрасывать;
  • представляют ли цвета буквальный вид, классы объектов, инструкции, количества или специфичные для задачи символы.

Ячейки не всегда следует интерпретировать как обычные пиксели изображения. Связная фигура может обозначать объект, число, направление, шаблон, контейнер, инструкцию или символьную ссылку, значение которой определяется только демонстрациями.

Демонстрационные и тестовые пары

Каждая задача содержит два списка:

  • train — полностью наблюдаемые демонстрации «вход-выход»;
  • test — один или несколько новых входов, для которых нужно предсказать выходы.

Официальное руководство указывает, что train обычно содержит от двух до десяти пар, как правило три. Список test обычно содержит от одной до трёх пар, как правило одну[9].

Упрощённый файл задачи:

{
  "train": [
    {
      "input": [
        [1, 0],
        [0, 0]
      ],
      "output": [
        [1, 1],
        [1, 1]
      ]
    },
    {
      "input": [
        [0, 0],
        [4, 0]
      ],
      "output": [
        [4, 4],
        [4, 4]
      ]
    },
    {
      "input": [
        [0, 0],
        [6, 0]
      ],
      "output": [
        [6, 6],
        [6, 6]
      ]
    }
  ],
  "test": [
    {
      "input": [
        [0, 0],
        [0, 8]
      ],
      "output": [
        [8, 8],
        [8, 8]
      ]
    }
  ]
}

Поле output публичных тестовых пар включено в загружаемые данные, чтобы исследователи могли оценивать свои системы. В скрытых конкурсных задачах соответствующий выход не публикуется.

Отсутствие инструкций на естественном языке

Задача не содержит вербального вопроса вроде «поверни красный объект» или «посчитай синие квадраты». Проблему определяют сами примеры.

Такой дизайн снижает зависимость от:

  • владения естественным языком;
  • энциклопедических знаний;
  • культурной знакомости;
  • извлечения информации из внешних корпусов;
  • запомненных формулировок задач;
  • интерпретации промптов.

Он также делает бенчмарк более узким, чем общая оценка рассуждения. ARC-AGI-2 напрямую не проверяет понимание прочитанного, фактические знания, диалог, использование инструментов, развёрнутые объяснения или языковую коммуникацию.

Базовые когнитивные приоры

Задачи ARC-AGI спроектированы вокруг ограниченного набора элементарных приоров, которые большинство людей применяет без явных инструкций[7][1].

Приор Примеры в сеточных задачах
Объектность Рассмотрение связных или визуально сгруппированных ячеек как устойчивых сущностей, а не несвязанных пикселей.
Устойчивость объекта Распознавание того, что объект остаётся тем же объектом после перемещения, перекраски, поворота, масштабирования или частичного перекрытия.
Целенаправленность Интерпретация преобразования как завершения, починки, сортировки, замыкания, соединения или иного изменения сцены в сторону связного результата.
Элементарное чувство числа Подсчёт объектов, сравнение количеств, повторение преобразования заданное число раз или использование количества как символьного значения.
Базовая геометрия Применение сдвига, поворота, отражения, масштабирования, выравнивания, вложенности, пересечения и относительного положения.
Топология Рассуждение о связности, дырах, границах, отношениях «внутри-снаружи», смежности и разделении.
Симметрия Обнаружение или достраивание отражательной, поворотной, переносной или повторяющейся структуры.
Простая каузальность Вывод о том, что один объект служит источником, препятствием, ключом, маркером, инструкцией или триггером другого преобразования.

Эти приоры не отсутствуют буквально из априорных знаний решателя. Люди обладают обширным перцептивным и развивающим опытом с объектами, пространством, количеством и причинностью. ARC-AGI стремится минимизировать специальные приобретённые знания, а не все приоры как таковые.

Состав набора данных

Структура набора данных ARC-AGI-2
Поднабор Задач Публичная доступность Калибровка Основное назначение
Публичный учебный 1 000 Публичен Без калибровки по сложности Обучение, знакомство с форматом, развитие специфичных для ARC приоров и генерация синтетических данных.
Публичный оценочный 120 Публичен Откалиброван на людях Открытая исследовательская оценка и локальная разработка систем.
Полузакрытый оценочный 120 Скрыт Откалиброван на людях Контролируемая верификация удалённо размещённых моделей и оперативная обратная связь на соревнованиях.
Закрытый оценочный 120 Скрыт Откалиброван на людях Финальный подсчёт конкурсных результатов и оценка с высокими ставками при минимальной сторонней экспозиции.

Публичный репозиторий, таким образом, содержит 1 120 задач. Публичный учебный набор объединяет задачи, унаследованные от ARC-AGI-1, с задачами, созданными или отобранными для ARC-AGI-2. Он охватывает широкий диапазон сложности и не строился как репрезентативная оценочная выборка[3][9].

Оценочные поднаборы насчитывают в сумме 360 задач, хотя напрямую загружать можно только 120 публичных. Официальная страница бенчмарка описывает три оценочных поднабора как статистически схожие по воспринимаемой человеком сложности с ожидаемым расхождением менее примерно одного процентного пункта, если система не переобучилась на конкретный поднабор[2].

Полузакрытость означает, что задачи могут открываться ограниченному числу третьих сторон в ходе контролируемых API- или лидерборд-оценок. Закрытый набор предполагается недоступным вне инфраструктуры финального соревнования.

Калибровка на людях

Протокол тестирования

ARC-AGI-2 использовал более масштабное первичное человеческое исследование, чем его предшественник. Тестирование проходило с ноября 2024 по май 2025 года в контролируемых сессиях, преимущественно в Сан-Диего[1].

Участники работали индивидуально за компьютерами со специальным сеточным интерфейсом. Перед попытками над случайно назначенными задачами-кандидатами они получали короткую инструкцию и проходили опрос. Сессии длились около 90 минут; одновременно в помещении тестировалось не более 34 участников.

Исследование использовало денежное вознаграждение, состоящее из базовой оплаты и бонуса за результат. Стимул был нацелен на серьёзные попытки, сохраняя при этом участие широкой публики, а не только профессиональных решателей головоломок.

Статистика человеческого тестирования по данным статьи ARC-AGI-2
Показатель Значение
Уникальных участников 407
Тестовых сессий 515
Уникальных тестовых пар-кандидатов 1 848
Зафиксированных попыток 13 405
Решённых попыток 8 277
Общая доля решённых попыток Около 62 %
Максимум участников, тестировавшихся одновременно 34
Длительность сессии Около 90 минут

Пул кандидатов включал новые авторские задачи и ранее неиспользованные резервные задачи из более ранних разработок ARC. Публичные учебные задачи ARC-AGI-1 были исключены из пула человеческого отбора.

Авторы не обнаружили статистически значимой связи между результативностью и профессией, отраслью, опытом программирования, опытом в математике или головоломках у участников. Это было истолковано как свидетельство того, что отобранные задачи опираются сильнее на общее умение решать задачи, чем на какой-либо специальный профессиональный навык[1].

Критерий отбора

Задача-кандидат переходила из стадии человеческого тестирования только если по меньшей мере два независимых участника решили одну или несколько её тестовых пар за свои первые две попытки.

Это правило выравнивает условия оценки людей и ИИ. Задача не сохранялась лишь потому, что её автор знал решение: она должна была продемонстрировать независимую решаемость людьми, впервые столкнувшимися с ней без предварительного знакомства.

После отбора все публичные, полузакрытые и закрытые оценочные задачи проходили два слоя валидации:

  • по меньшей мере два внешних тестировщика независимо решили задачу;
  • внутренний рецензент, отличный от исходного автора, проверил и решил задачу.

Учебная коллекция получила менее исчерпывающую калибровку. Некоторые учебные задачи отбирались прежде всего для демонстрации полезных концепций или приоров, и не каждая учебная задача прошла полный протокол тестирования оценочных наборов.

Индекс сложности и распределение

Для каждой задачи-кандидата исследователи вычисляли эмпирический индекс сложности на основе доли участников, давших полностью правильный ответ.

Сохранённые задачи распределялись между публичным, полузакрытым и закрытым наборами так, чтобы их средняя человеческая точность была схожей. Новые авторские задачи по возможности направлялись в скрытые поднаборы, а ранее публичный материал оставался публичным.

Итоговые оценочные данные характеризовались у людей следующим образом[1]:

  • финальные тестовые пары решили около 75 % пытавшихся их людей;
  • средний участник решил около 66 % задач, которые он пытался решить;
  • каждая сохранённая оценочная задача решена не менее чем двумя людьми в пределах двух попыток;
  • среднее время человеческого решения успешных задач составило около 2,7 минуты.

Значение 66 % — это усреднение по отдельным участникам и назначенным задачам. Оно не означает, что 34 % бенчмарка нерешаемы людьми: среди популяции участников каждая сохранённая задача имела множество подтверждённых человеческих решений.

Что делает ARC-AGI-2 сложным

Задачи ARC-AGI-2 обычно содержат больше информации, чем задачи ARC-AGI-1: они склонны использовать более крупные сетки, больше объектов, больше отношений и большее число взаимодействующих концепций[1].

Бенчмарк особенно подчёркивает четыре формы композиционального обобщения.

Тип трудности Описание Типичный режим отказа
Композиция нескольких правил В одной задаче требуется применить несколько преобразований, потенциально к разным объектам или областям. Система распознаёт одно заметное правило, но игнорирует другое требуемое преобразование.
Многошаговая композиция Выход одного преобразования становится входным состоянием следующего. Система пытается предсказать финальную конфигурацию, не выполняя промежуточные состояния.
Контекстное применение правил Применимая операция зависит от контекстного маркера, свойства объекта, позиции, цвета или отношения. Система усваивает общую операцию, но применяет её ко всем объектам, не выбирая контекстно уместный случай.
Определение символов в контексте Объект или шаблон представляет инструкцию или значение, смысл которого задан демонстрациями. Система трактует символ как фигуру для копирования, а не как семантическую переменную конкретной задачи.

Композиция нескольких правил

Задачу ARC-AGI-1 часто можно было описать одним правилом: «сдвинь все объекты вниз», «отрази фигуру» или «извлеки уникальный объект».

Задачи ARC-AGI-2 чаще требуют нескольких скоординированных операций. Решателю может понадобиться:

  1. обнаружить обрамлённую область;
  2. обрезать или изолировать её;
  3. определить объекты вне её;
  4. изменить масштаб объектов;
  5. сопоставить их с отверстиями соответствующих форм;
  6. вставить их в заданном порядке.

Решение-кандидат, объясняющее лишь часть обучающих пар, недостаточно. Каждая операция должна последовательно обобщаться на все демонстрации и тестовые входы.

Многошаговая композиция

Некоторые задачи требуют многократных обновлений состояния: корректная позиция или ориентация следующего объекта зависит от результата размещения предыдущего.

Такую задачу не всегда можно надёжно решить распознаванием статической визуальной аналогии. Решателю может понадобиться промоделировать алгоритм, удерживать промежуточное состояние и остановиться только после выполнения условия.

Контекстное управление потоком

Выбор преобразования может определяться признаком вроде:

  • цвета контура;
  • позиции маркера;
  • ориентации объекта, похожего на стрелку;
  • того, открыт или закрыт контейнер;
  • числа ячеек в объекте-образце;
  • того, какой объект уникален в локальной группе.

Один и тот же видимый объект может требовать разной обработки в разных примерах. Это напоминает условное управление потоком в программе.

Символьная интерпретация

Некоторые объекты обозначают нечто иное, чем их буквальная визуальная структура. Небольшой шаблон может кодировать:

  • целевой цвет;
  • число повторений;
  • направление;
  • порядок сортировки;
  • соответствие между классами объектов;
  • преобразование, которое следует применить в другом месте.

Смысл символа локален для задачи и не может быть восстановлен из глобального словаря. Его нужно вывести из текущих демонстраций.

Устойчивость к простому перебору

Программный синтез остаётся допустимым подходом к ARC-AGI-2, однако распределение задач спроектировано так, чтобы снизить эффективность перечисления коротких комбинаций знакомых геометрических примитивов.

Большая длина описания, более глубокая последовательность преобразований и контекстно-зависимое правило увеличивают пространство поиска. Успешная поисковая система выигрывает от выученной интуиции, обнаружения абстракций, вероятностного наведения или адаптации к конкретной задаче, а не только от ненаправленного перебора.

Методология оценки

Точное совпадение

Для каждого скрытого тестового входа решатель может подать два выходных кандидата-сетки. Тестовый вход засчитывается, если хотя бы один кандидат совпадает с эталонным выходом точно.

Точное совпадение требует согласия по:

  • высоте выхода;
  • ширине выхода;
  • значению каждой ячейки;
  • позиции каждого объекта;
  • каждому цвету или символу;
  • пустым и фоновым ячейкам.

Задача условно считается решённой, когда все требуемые тестовые выходы построены корректно в рамках протокола бенчмарка[3][6].

Парсер-безопасное описание правила:

test_input_pass = 1 if either of the two candidate grids exactly matches the reference grid; otherwise 0

Агрегированный балл — доля принятых тестовых случаев или задач в рамках реализации соответствующего оценочного конвейера:

accuracy = accepted evaluation units / all evaluated units

Публикуемые отчёты должны указывать реализацию подсчёта, особенно если задачи содержат более одного тестового входа.

Корректность на уровне пикселей

Некоторые исследователи дополнительно публикуют корректность на уровне пикселей (pixel correctness) — долю выходных ячеек, получивших правильное значение. Эта диагностическая метрика позволяет отличить почти корректное преобразование от нерелевантного выхода.

Корректность пикселей не является официальной головной метрикой. Сетка с одной неверной ячейкой не проходит точное совпадение, а сетка с неверными размерами не рассматривается как корректное точное решение, даже если много видимых ячеек совпадают.

Строгое правило отражает суть задачи: вывести и выполнить полное преобразование, а не приблизить визуальный вид.

Правило двух попыток

Разрешение подавать два выхода применяется и к человеческой, и к ИИ-оценке. Оно смягчает эффект единственного неоднозначного решения, не допуская неограниченного перебора множества ответов-кандидатов.

Метрику не следует путать с pass@2, часто используемым в бенчмарках генерации кода: в ARC-AGI-2 оба кандидата — часть определённого протокола ответа для одного тестового входа.

Две попытки могут быть выгодны системам, генерирующим разнообразные гипотезы, но оба кандидата должны создаваться в одинаковых вычислительных и конкурсных ограничениях.

Отчёт об эффективности

ARC-AGI-2 ввёл явное измерение эффективности. Официальный лидерборд публикует денежную стоимость на задачу там, где ценообразование провайдера модели позволяет такой расчёт[2].

Предполагаемая интерпретация: система, решающая задачу через лаконичную абстракцию, даёт более сильное свидетельство адаптивного интеллекта, чем система, получающая тот же ответ через чрезвычайно дорогой исчерпывающий перебор.

Релевантные переменные эффективности включают:

  • стоимость вызовов API модели;
  • число рассуждающих токенов;
  • число сгенерированных решений-кандидатов;
  • стоимость дообучения в момент тестирования;
  • число итераций поиска;
  • время CPU и ускорителей;
  • потребление памяти;
  • задержку в реальном времени;
  • стоимость внешних верификаторов и ансамблей моделей.

Денежная стоимость удобна, но несовершенна: она зависит от цен провайдера и может не отражать фактически затраченные энергию, оборудование, исследования или обучающие ресурсы.

Публичная и скрытая оценка

Три уровня оценки служат разным целям.

Уровень оценки Основное преимущество Основной риск или ограничение
Публичный Полная воспроизводимость, анализ по задачам и быстрая локальная разработка. Исследователи могут изучать задачи напрямую и переобучать методы через повторную обратную связь.
Полузакрытый Меньший риск утечки и контролируемая верификация коммерческих или удалённо размещённых систем. Некоторые третьи стороны или провайдеры моделей могут столкнуться с задачами в ходе оценки.
Закрытый Самая сильная защита от разработки под конкретный бенчмарк. Независимые исследователи не могут ни изучить задачи, ни полностью воспроизвести процедуру проверки.

Результаты на публичной оценке остаются полезными для отладки и открытого сравнения, но теряют информативность, когда система многократно подгонялась под одни и те же 120 задач.

Начальные базовые результаты

Статья ARC-AGI-2 привела следующие полузакрытые результаты по состоянию на 14 мая 2025 года[1]:

Начальные полузакрытые базовые результаты ARC-AGI-2
Система ARC-AGI-1 ARC-AGI-2
o3-mini, high reasoning 34,5 % 3,0 %
o3, medium reasoning 53,0 % 3,0 %
ARChitects, ARC Prize 2024 56,0 % 2,5 %
o4-mini, medium reasoning 41,8 % 2,4 %
Icecuber, ARC competition 2020 17,0 % 1,6 %
o1-pro, low reasoning 23,3 % 0,9 %
Claude 3.7 with an 8K reasoning budget 21,2 % 0,9 %

Авторы предупреждали, что баллы ниже примерно 5 % не дают устойчивого сигнала о способности: в этом диапазоне решение одной-двух задач может быть результатом случайного совпадения с шаблоном, узкой эвристики или шума оценки.

Контраст с ARC-AGI-1 показал, что второй набор данных — не просто большая выборка исходного распределения сложности: методы, решавшие существенную долю ARC-AGI-1, часто возвращались к почти нулевой результативности на ARC-AGI-2.

ARC Prize 2025

Первое публичное соревнование по ARC-AGI-2 прошло на платформе Kaggle в 2025 году. Работы выполнялись без доступа в Интернет на четырёх GPU NVIDIA L4 с бюджетом 12 часов реального времени. Каждая работа обрабатывала 120 полузакрытых и 120 закрытых задач[1].

Соревнование собрало[10]:

  • 1 455 команд;
  • 15 154 конкурсных работ;
  • 90 исследовательских статей.

Лучшие результаты на закрытом наборе[4]:

Результаты закрытой оценки ARC Prize 2025
Место Команда Закрытый балл
1 NVARC 24,03 %
2 the ARChitects 16,53 %
3 MindsAI 12,64 %
4 Lonnie 6,67 %
5 G. Barbadillo 6,53 %

Ни одна конкурсная работа не достигла порога в 85 %, необходимого для главного приза за прохождение бенчмарка.

Система NVARC объединила несколько подходов, включая солвер, обучаемый в момент инференса, и компоненты на основе рекуррентного рассуждения. Её результат значительно превысил начальные базовые уровни мая 2025 года, оставаясь далеко ниже средней человеческой результативности.

Циклы уточнения

Технический отчёт ARC Prize 2025 назвал циклом уточнения (refinement loop) центральным методологическим достижением соревнования[10].

Цикл уточнения обычно выполняет следующие операции:

  1. сгенерировать правило, программу или выход-кандидат;
  2. выполнить или протестировать его на демонстрационных парах;
  3. измерить, как и где он ошибается;
  4. изменить кандидата с учётом обратной связи;
  5. повторять до выполнения критерия остановки или исчерпания ресурсов;
  6. ранжировать оставшихся кандидатов и подать один или два выхода.

Уточнение может происходить в нескольких пространствах:

Тип уточнения Пример
Пространство программ Мутация или рекомбинация программ-кандидатов преобразований.
Пространство гипотез на естественном языке Просьба к рассуждающей модели критиковать и переписывать своё описание правила задачи.
Пространство выходов Итеративная коррекция сгенерированной сетки путём сравнения с известными демонстрациями.
Пространство весов Отдельное дообучение модели под текущую задачу на расширенных версиях её демонстраций.
Пространство ансамблей Комбинирование предсказаний моделей, геометрических перспектив или независимо сгенерированных гипотез.

Метод отличается от выдачи одного «замороженного» ответа модели. Он позволяет системе приобретать специфичный для задачи навык в процессе инференса, что ближе к способности адаптации, которую ARC-AGI и был задуман измерять.

Прогресс до июля 2026 года

После соревнования 2025 года результативность быстро росла.

Избранные вехи результативности на ARC-AGI-2
Дата Система или событие Условие оценки Сообщённый балл
Май 2025 o3-mini, high reasoning Начальный полузакрытый базовый уровень 3,0 %
Ноябрь 2025 NVARC Закрытый конкурсный набор ARC Prize 2025 24,03 %
Июль 2026 GPT-5.6 Sol, low reasoning Официальная верифицированная оценка 42,5 %
Июль 2026 GPT-5.6 Sol, medium reasoning Официальная верифицированная оценка 67,1 %
Июль 2026 GPT-5.6 Sol, high reasoning Официальная верифицированная оценка 85,4 %
Июль 2026 GPT-5.6 Sol, maximum reasoning Официальная верифицированная оценка 92,5 %

Результаты GPT-5.6 Sol показывают сильную зависимость от ресурсов в момент инференса[5]:

Режим рассуждения ARC-AGI-1 ARC-AGI-2
Low 74,5 % 42,5 %
Medium 92,5 % 67,1 %
High 97,0 % 85,4 %
Extra High 97,5 % 90,0 %
Maximum 96,5 % 92,5 %

Немонотонные значения на ARC-AGI-1 показывают, что больший бюджет инференса не гарантирует более высокого балла на любом конечном бенчмарке: вариация сэмплирования, альтернативные гипотезы и специфичные для задач режимы отказа могут менять набор решённых задач.

Результат 92,5 % превысил средний человеческий балл 66 %, сообщённый для откалиброванных оценочных задач. Он не означает, что модель решала задачи эффективнее людей, сравнялась с лучшими человеческими участниками или обладает общей компетентностью вне сеточной области ARC.

Этот результат также не удовлетворяет автоматически конкурсной цели ARC Prize. Официальный верифицированный лидерборд может включать закрытые и удалённо размещённые системы, тогда как претендующие на призы работы Kaggle должны выполняться офлайн в заданных аппаратных условиях и публиковаться открыто.

Основные подходы к решению

Дискретный программный поиск

Система программного поиска определяет примитивные операции вроде:

  • извлечение связных компонент;
  • обнаружение ограничивающих рамок;
  • отражение или поворот сетки;
  • перекраска выбранных объектов;
  • сдвиг объекта;
  • обрезка области;
  • мозаичное размножение шаблона;
  • подсчёт объектов или ячеек;
  • сортировка объектов по размеру или позиции;
  • рисование линий между выбранными точками;
  • комбинирование масок.

Затем она ищет композицию, отображающую каждый обучающий вход в соответствующий выход.

Хорошо спроектированный предметно-ориентированный язык может компактно выражать типичные концепции ARC. Его главное ограничение — комбинаторный взрыв: более глубокие и контекстно-зависимые задачи требуют перебора чрезвычайно большого числа программ-кандидатов.

Нейронная адаптация в момент инференса

Test-time adaptation обучает или обновляет модель отдельно для каждой задачи. Поскольку демонстрационных пар мало, системы генерируют дополнительные примеры с помощью:

  • поворотов и отражений;
  • перестановок цветов;
  • перемещений объектов;
  • обращения пар «вход-выход» там, где это корректно;
  • синтетических задач, порождённых известными программами преобразований;
  • обрезок и изменений масштаба;
  • альтернативных порядков объектов.

Затем модель оптимизируется на расширенных примерах перед предсказанием скрытого выхода.

Этот подход дал крупные улучшения на ARC-AGI-1 в 2024 году. ARC-AGI-2 затрудняет адаптацию: его правила более композициональны и могут не сохранять силу при наивной аугментации.

Генерация синтетических задач

Публичный набор данных мал по сравнению с обычными обучающими корпусами, поэтому многие системы генерируют большие коллекции ARC-подобных задач.

Синтетические данные могут создаваться:

  • сэмплированием программ из языка преобразований;
  • мутацией существующих задач;
  • рекомбинацией объектов и правил;
  • предложением генераторов задач языковыми моделями;
  • применением случайных геометрических преобразований;
  • созданием парных сеток процедурными симуляторами.

Синтетическое обучение полезно, лишь когда его распределение переносится на оценочные задачи: модель может достичь высокой точности на сгенерированных задачах, усвоив смещения, отсутствующие в авторских задачах ARC-AGI-2.

Рассуждающие модели и генерация кода

Мультимодальная или языковая модель может преобразовать сетки в текстовое представление, выдвинуть правило, написать реализующий его код и выполнить код на демонстрациях.

Типичный рабочий процесс:

  1. разобрать цветные сетки в объекты и отношения;
  2. описать преобразования-кандидаты;
  3. сгенерировать программу на Python;
  4. запустить её на всех обучающих входах;
  5. сравнить предсказанные и эталонные выходы;
  6. диагностировать несоответствия;
  7. исправить программу;
  8. сгенерировать финальные тестовые выходы.

Прямой промптинг без выполнения кода и уточнения исторически работал плохо. Выполнение кода даёт точный сигнал обратной связи и поддерживает итеративную коррекцию.

Ансамбли и перспективные преобразования

Ансамблевые системы комбинируют солверы с разными представлениями или индуктивными смещениями: один специализируется на преобразованиях объектов, другой — на клеточных шаблонах, третий — на индукции программ.

Сетку также можно оценивать из нескольких преобразованных перспектив:

  • исходная ориентация;
  • отражение по горизонтали или вертикали;
  • повороты;
  • представление с нормированными цветами;
  • обрезки с центрированием по объекту;
  • транспонированные координаты.

Предсказания преобразуются обратно и комбинируются. Согласие независимых перспектив помогает выявлять устойчивые кандидаты, хотя большой ансамбль повышает стоимость инференса.

Малые рекуррентные сети

Исследования, связанные с ARC Prize 2025, показали, что конкурентных результатов не обязательно требует очень большая предобученная модель. Крошечные рекуррентные системы способны многократно обновлять внутреннее представление, обучаться в момент тестирования и решать подмножество ARC-задач с миллионами, а не миллиардами параметров[11].

Такие системы подкрепляют тезис, что итеративные вычисления и адаптация к задаче могут быть важнее числа параметров. Однако их результативность по-прежнему сильно зависит от сгенерированных обучающих данных, процедуры оптимизации и специфичного для бенчмарка представления.

Гибридные нейро-символьные системы

Гибриды используют нейросетевые модели для наведения символьного поиска.

Нейросетевая компонента может предлагать:

  • релевантные объекты;
  • отношения-кандидаты;
  • вероятное семейство преобразований;
  • частичный каркас программы;
  • полезные ветви программного поиска;
  • ранжирование сгенерированных кандидатов.

Символьная компонента затем выполняет точные операции и сверяет их с демонстрациями. Такое разделение пытается объединить гибкое распознавание образов с надёжными дискретными вычислениями.

ARC Prize 2026

ARC Prize 2026 сохранил отдельный конкурсный трек по ARC-AGI-2. Его заявленная цель — достичь точности 85 % на закрытом оценочном наборе в рамках ограничений эффективности Kaggle[6].

Объявленный призовой фонд ARC-AGI-2:

Категория приза Сумма Назначение
Призы за прогресс 275 000 долларов США Награды за лучшие подходящие решения в рейтинге.
Главный приз 275 000 долларов США Оценка лучшего открытого письменного отчёта по нескольким исследовательским и инженерным критериям.
Бонусный приз 150 000 долларов США Первому подходящему решению, достигшему не менее 85 % на закрытом наборе.
Итого 700 000 долларов США —

Требования к конкурсу включают:

  • подачу в виде блокнота Kaggle;
  • отсутствие доступа в Интернет в ходе оценки;
  • два выходных кандидата на каждый тестовый вход;
  • соблюдение объявленных аппаратных и временных ограничений;
  • публичный выпуск кода и методов для права на призы.

Бонус в 85 % определён именно этими конкурсными условиями. Закрытая коммерческая модель, превысившая 85 % на официальной верифицированной оценке, сама по себе не является претендующей на приз работой Kaggle.

Соотношение с ARC-AGI-3

ARC-AGI-2 оценивает статичное рассуждение: вся информация, необходимая для вывода задачи, содержится в демонстрациях и тестовом входе, а решатель не совершает исследовательских действий, меняющих среду задачи.

Представленный в 2026 году ARC-AGI-3 расширяет серию до интерактивных сред, в которых агент должен исследовать среду, выводить цели, открывать правила переходов, запоминать предыдущие наблюдения и планировать последовательности действий[12].

Свойство ARC-AGI-2 ARC-AGI-3
Взаимодействие Статичное предсказание «вход-выход» Повторяющиеся наблюдения и действия
Цель Вывести преобразование и построить выходные сетки Открыть цель среды и достичь её
Обратная связь Демонстрационные пары до подачи Изменения состояния и награды в ходе взаимодействия
Основные способности Абстракция, индукция правил, композиция, символьная интерпретация Исследование, планирование, память, усвоение целей и адаптация
Выход Один или два кандидата-сетки Последовательность действий
Эффективность Стоимость или вычисления на задачу Действия и ресурсы относительно человеческих базовых уровней

ARC-AGI-3 дополняет, а не заменяет ARC-AGI-2. Система может быть сильна в статичной индукции шаблонов, оставаясь слабой в исследовании и планировании на длинных горизонтах, и наоборот.

Интерпретация результатов

Балл ARC-AGI-2 измеряет результативность на узком, но намеренно сложном классе few-shot-преобразований сеток.

Более высокий балл свидетельствует, что оцениваемая система способна:

  • выводить скрытые правила из очень малого числа примеров;
  • комбинировать знакомые операции незнакомыми способами;
  • удерживать промежуточные состояния;
  • интерпретировать локальные для задачи символы;
  • строить точные структурированные выходы;
  • адаптироваться в момент инференса;
  • вести поиск решений-кандидатов достаточно эффективно, чтобы уложиться в оценочный бюджет.

Он не устанавливает напрямую компетентность в:

  • общении на естественном языке;
  • фактическом рассуждении;
  • научных исследованиях;
  • социальном понимании;
  • использовании инструментов;
  • автономном планировании во внешней среде;
  • программной инженерии;
  • физическом взаимодействии;
  • безопасности или выравнивании;
  • общем обучении в произвольных реальных областях.

Результат бенчмарка следует поэтому рассматривать как один компонент более широкой оценки, а не как бинарный тест на существование AGI.

Ограничения и критика

Узкая конструктная валидность

ARC-AGI-2 операционализирует интеллект как эффективную адаптацию к новым задачам преобразования сеток. Это следует теоретической рамке, предложенной создателем бенчмарка, но не является единственным общепринятым определением интеллекта.

Другие теории подчёркивают:

  • язык и коммуникацию;
  • моделирование мира;
  • долгосрочное обучение;
  • социальное познание;
  • воплощённое действие;
  • метапознание;
  • креативность;
  • перенос между естественными областями;
  • выбор целей;
  • автономное действие.

Система может преуспевать на ARC-AGI-2, не обладая многими из этих способностей. И наоборот: полезная универсальная система может показывать слабые результаты, потому что её интерфейс или обучение не поддерживают построение точных сеток.

Существенные человеческие приоры

Бенчмарк часто описывают как требующий минимума априорных знаний, однако человеческие решатели приносят обширные развивающие и перцептивные приоры. Люди уже понимают:

  • объекты и границы;
  • пространство и направления;
  • счёт;
  • симметрию;
  • перекрытие;
  • контейнеры;
  • повторение;
  • каузальные взаимодействия;
  • визуальную группировку;
  • целенаправленное преобразование.

ИИ-системе, возможно, придётся приобрести сопоставимые представления через обучение. Граница между приемлемыми общими приорами и специфичной для бенчмарка подготовкой не всегда точна.

Сеточная модальность

ARC-AGI-2 устраняет лингвистические и фактические искажающие факторы за счёт дискретных сеток. Это улучшает экспериментальный контроль, но сужает экологическую валидность.

Реальные задачи рассуждения часто включают:

  • зашумлённое непрерывное восприятие;
  • неоднозначный язык;
  • неполную информацию;
  • внешние инструменты;
  • меняющиеся цели;
  • длинные документы;
  • социальный контекст;
  • необратимые действия;
  • неопределённые или вероятностные исходы.

Успех на «чистых» сетках 30 × 30 не гарантирует переноса на эти условия.

Переобучение на публичной оценке

Полный публичный оценочный набор доступен онлайн. Исследователи могут изучить каждую задачу, создавать специфичные эвристики, настраивать промпты или многократно модифицировать систему в ответ на один и тот же балл.

Даже без прямого добавления ответов в обучающий набор повторяемая разработка против публичных оценочных задач может порождать смещение отбора.

Для достоверного заявления об обобщении финальную систему следует оценивать на скрытом наборе, который не использовался для:

  • проектирования промптов;
  • выбора архитектуры;
  • настройки гиперпараметров;
  • анализа ошибок;
  • отбора синтетических данных;
  • построения ансамблей;
  • ранней остановки.

Воспроизводимость скрытых наборов

Полузакрытые и закрытые задачи снижают загрязнение, но ограничивают независимую проверку. Внешние исследователи не могут полностью инспектировать:

  • качество задач;
  • эталонные выходы;
  • распределение сложности;
  • возможные избыточности;
  • реализацию средства проверки;
  • отдельные отказы систем.

Фонд ARC Prize может обеспечить контролируемую верификацию, однако полная научная воспроизводимость здесь неизбежно слабее, чем на публичном наборе.

Калибровка относительно человека

Три оценочных набора калибровались по человеческим показателям успешности. Схожее для человека распределение сложности не гарантирует равной сложности для каждой ИИ-архитектуры.

Модель может использовать признак, чаще встречающийся в одном наборе, испытывать трудности с дисбалансом представления, невидимым для людей, или косвенно переобучаться на публичный поднабор.

Официальная оценка расхождения менее чем в один процентный пункт опирается на допущение, что оцениваемая система сэмплирует из того же эффективного распределения задач и не адаптировалась к одному разбиению.

Хрупкость точного совпадения

Точное совпадение обеспечивает объективность проверки, но не даёт частичного кредита.

Система, выдающая в остальном корректную сетку 20 × 20 с одной неверной ячейкой, получает тот же бинарный результат, что и система с нерелевантным выходом. Балл не раскрывает, возникла ли ошибка из-за:

  • неверной абстракции;
  • неверных размеров выхода;
  • одной ошибки выполнения;
  • несовпадения цветовой метки;
  • некорректной сериализации;
  • провала лишь на одном из нескольких тестовых входов.

Корректность пикселей и диагностика по задачам могут дополнить официальный балл, но публикуются не всегда.

Два выходных кандидата

Протокол с двумя выходами позволяет решателю хеджировать между конкурирующими гипотезами. Он практичен и одинаково применяется к людям и ИИ, однако меняет конструкт измерения.

Система может получить зачёт, не выбирая одну финальную интерпретацию, если способна поместить в подачу два правдоподобных ответа. Сравнения с бенчмарками, допускающими один ответ, много сэмплированных ответов или выбор с помощью верификатора, требуют осторожности.

Малые оценочные наборы

Каждый откалиброванный набор содержит 120 задач. При подаче точности на уровне задач каждая дополнительно решённая задача меняет балл примерно на 0,83 процентного пункта.

Разница в один-два пункта может, таким образом, отражать лишь несколько примеров. На неё также могут влиять:

  • вариация сэмплирования;
  • конфигурация бюджета рассуждения;
  • стратегия выбора выхода;
  • случайные зерна;
  • сбои инструментов;
  • ошибки парсера;
  • изменения модельных эндпоинтов.

Доверительные интервалы и результаты по отдельным задачам дают больше информации, чем одна точечная оценка.

Интерпретация человеческого базового уровня

Сообщённые средние 66 % не описывают идеализированного эксперта или максимальный человеческий балл: участники получали разные поднаборы задач и работали в условиях ограничения времени.

Одновременно верны следующие утверждения:

  • средний участник решил около 66 % задач, которые пытался решить;
  • каждая сохранённая задача решена не менее чем двумя людьми;
  • ни от одного сообщённого участника не требовалось решить всю оценочную коллекцию;
  • ИИ-система может превысить 66 %, не решив все задачи, которые человечество способно решить в совокупности.

Заявления о «сверхчеловечности» модели на ARC-AGI-2 должны уточнять, идёт ли речь о средней индивидуальной точности, лучшем индивидуальном результате, совокупном покрытии людьми, времени, стоимости или ином критерии.

Денежная стоимость как несовершенная метрика эффективности

Цена API на задачу легко вычисляется, но не является стабильной физической мерой.

Цены могут меняться независимо от эффективности модели, а провайдеры могут субсидировать или паковать инференс. Метрика обычно не учитывает:

  • вычисления на обучение модели;
  • стоимость исследований и инженерии;
  • производство оборудования;
  • энергию и охлаждение;
  • генерацию синтетических данных;
  • неудачные эксперименты при разработке;
  • ручной промпт-дизайн;
  • проприетарную инфраструктуру верификаторов.

Стоимость остаётся полезной для сравнения развёрнутых конфигураций в конкретный момент времени, но не должна считаться полной мерой когнитивной эффективности.

Зависимость от протокола

Результат ARC-AGI-2 может сильно зависеть от:

  • бюджета рассуждающих токенов;
  • числа генерируемых гипотез;
  • использования выполнения кода;
  • дообучения в момент тестирования;
  • синтетических аугментаций;
  • глубины поиска;
  • размера ансамбля;
  • модели ранжирования кандидатов;
  • доступа к публичным учебным и оценочным задачам;
  • ограничения реального времени;
  • оборудования;
  • выходного парсера;
  • разрешения системе вызывать закрытую модель.

Разница между баллами GPT-5.6 Sol в 42,5 % (режим low) и 92,5 % (режим maximum) показывает, что конфигурация инференса может значить не меньше, чем название семейства моделей[5].

Быстрое насыщение

ARC-AGI-2 был представлен, когда ведущие базовые уровни давали около 3 %. Верифицированный результат выше 90 % был сообщён чуть более чем через год.

Этот быстрый прогресс допускает два толкования:

  • рассуждение и вычисления в момент инференса существенно улучшились;
  • конечный статичный бенчмарк может быть оптимизирован быстрее ожидаемого, как только становится главной исследовательской целью.

Толкования не исключают друг друга. Дальнейший прогресс следует проверять на новых скрытых задачах, сгенерированных семействах задач, альтернативных модальностях и интерактивных средах.

Специфичные для бенчмарка знания

Отчёт ARC Prize 2025 утверждал, что передовые системы всё больше выигрывают от широкого знания шаблонов преобразований, программных паттернов и ARC-подобных задач[10].

Модель может не запоминать конкретную оценочную сетку, но всё же приобрести обширную библиотеку релевантных бенчмарку операций из:

  • публичных ARC-задач;
  • разъяснений сообщества;
  • синтетических ARC-генераторов;
  • исходного кода солверов;
  • опубликованных траекторий;
  • смежных бенчмарков;
  • обучающих данных, созданных специально для ARC.

Это ставит пограничный вопрос: в какой момент накопленные специфичные для бенчмарка знания замещают задуманное усвоение подлинно нового навыка?

Субъективность авторства задач

ARC-задачи создаются или курируются вручную. Суждения о том, является ли задача:

  • уникальной;
  • изящной;
  • однозначной;
  • устойчивой к «грубой силе»;
  • зависящей только от приемлемых приоров;
  • избыточной по отношению к другой задаче;
  • решаемой через задуманную абстракцию, —

требуют экспертной оценки.

Человеческая валидация снижает число явных ошибок, но не может доказать, что каждая задача имеет единственно естественную интерпретацию. Два решателя могут построить разные правила, подходящие ко всем демонстрациям, но расходящиеся на тестовом входе.

Статичная постановка «вход-выход»

Решатель не может запросить ещё один пример, «прощупать» правило или взаимодействовать со средой. Он получает фиксированный объём свидетельств и должен зафиксировать ответ.

Реальное обучение часто связано с активным экспериментированием. ARC-AGI-3 был представлен отчасти для оценки этого более широкого адаптивного процесса через исследование, планирование, память и обнаружение целей[12].

Ссылки

См. также

Литература

  • Chollet, F. (2019). On the Measure of Intelligence. arXiv:1911.01547.
  • Chollet, F.; Knoop, M.; Kamradt, G.; Landers, B.; Pinkard, H. (2025). ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems. arXiv:2505.11831.
  • Johnson, A. et al. (2021). Fast and Flexible: Human Program Induction in Abstract Reasoning Tasks. arXiv:2103.05823.
  • Moskvichev, A.; Odouard, V.; Mitchell, M. (2024). The ConceptARC Benchmark: Evaluating Understanding and Generalization in the ARC Domain. Transactions on Machine Learning Research. arXiv:2305.07141.
  • Wang, R. et al. (2024). H-ARC: A Robust Estimate of Human Performance on the Abstraction and Reasoning Corpus Benchmark. arXiv:2409.01374.
  • Chollet, F. et al. (2024). ARC Prize 2024: Technical Report. arXiv:2412.04604.
  • Chollet, F.; Knoop, M.; Kamradt, G.; Landers, B. (2026). ARC Prize 2025: Technical Report. arXiv:2601.10904.
  • ARC Prize Foundation (2026). ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence. arXiv:2603.24621.

Примечания

  1. ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 1,10 Chollet, F.; Knoop, M.; Kamradt, G.; Landers, B.; Pinkard, H. "ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems". arXiv:2505.11831, 2025, revised 2026. [1]
  2. ↑ 2,0 2,1 2,2 ARC Prize Foundation. "ARC-AGI-2". [2]
  3. ↑ 3,0 3,1 3,2 ARC Prize Foundation. "Abstraction and Reasoning Corpus for Artificial General Intelligence v2". GitHub repository. [3]
  4. ↑ 4,0 4,1 ARC Prize Foundation. "ARC Prize 2025 Results and Analysis". 5 December 2025. [4]
  5. ↑ 5,0 5,1 5,2 ARC Prize Foundation. "GPT-5.6 Sol — ARC-AGI Results". 9 July 2026. [5]
  6. ↑ 6,0 6,1 6,2 ARC Prize Foundation. "ARC Prize 2026 — ARC-AGI-2 Competition". [6]
  7. ↑ 7,0 7,1 Chollet, F. "On the Measure of Intelligence". arXiv:1911.01547, 2019. [7]
  8. ↑ ARC Prize Foundation. "ARC Prize 2024: Technical Report". arXiv:2412.04604, 2024. [8]
  9. ↑ 9,0 9,1 ARC Prize Foundation. "ARC-AGI-1 & ARC-AGI-2 Guide". [9]
  10. ↑ 10,0 10,1 10,2 Chollet, F.; Knoop, M.; Kamradt, G.; Landers, B. "ARC Prize 2025: Technical Report". arXiv:2601.10904, 2026. [10]
  11. ↑ Jolicoeur-Martineau, A. "Less is More: Recursive Reasoning with Tiny Networks". arXiv:2510.04871, 2025. [11]
  12. ↑ 12,0 12,1 ARC Prize Foundation. "ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence". arXiv:2603.24621, 2026. [12]