Итак, что же пишут организаторы про соревнование ARC Prize в своем тех.отчете?

⚪️ Свой бенчмарк ARC-AGI (которому, кстати, в этом году пять лет) в самом начале отчета организаторы все еще называют непройденным, и говорят, что по итогам соревнования хотели добиться 85%, но добились всего 55,5%.

⚪️ Вообще, когда создавался этот бенчмарк, предполагалось, что решить его сможет только система "по-человечески умная", то есть не та, которая просто выучила кучу фактов о мире, а та, которая может рассуждать, оперируя элементарными навыками. Задачи в бечмарке напоминают мини-головоломки из книжек для самых маленьких: в каждой задаче нужно угадать паттерн перестановки квадратиков в сетке (см. примеры на картинке). И действительно, тест формировался так, чтобы для его решения нужны были только те навыки, которые человек приобретает до 4 лет: объектность, базовая топология, элементарная целочисленная арифметика (обычные люди без экспертизы легко набирают на ARC-AGI 98%-100%).

⚪️ Однако в течение четырех лет с момента создания исследователи пытались побить бенчмарк... брутфорсом. В 2020 вовсе выиграли исследователи, которые вообще не использовали в подходе машинное обучение. В этом году люди тоже пытались пропихнуть такой подход: второе место заняли как раз ребята с поиском по DSL (40%, а еще в 2020 полагали, что так можно выбить почти 50), а третье вообще ушло человеку, который с помощью GPT-4o генерировал тысячу Python скриптов на одну задачу и итеративно улучшал самые перспективные из них (в итоге 42%).

⚪️ Авторы предполагают, что такой перебор все-таки можно сделать умным, например по аналогии с тем, как это происходит в AlphaZero, но пока такой подход никто не попробовал. Ну а что касается масштабируемости, то тут выходит, что даже метод генерации программ этого года может выбить больше 80, правда для этого придется генерировать приблизительно 100 000 000 программ на задачу (а это означает многомиллионный бюджет на решение всего нескольких сотен задач). Да, вот это AGI, который мы заслужили.

⚪️ Но были в этом году и более интересные подходы. В частности, Test-Time Training, который использовали фактические победители MindsAI (они выбили 55.5, но не захотели опенсорсить код, так что по правилам не могли рассчитывать на приз). Кроме них TTT использовали те, кого наградили за первое место, а также победители статейной номинации (подробнее мы писали тут). К TTT прикручивали файнтюнинг, аугментации и даже 2D position encodings для лучшего ризонинга, и это сработало. Именно благодаря этому подходу в этом году получился такой глубокий прогресс по сравнению с прошлыми конкурсами.

Организаторы планируют вернуться в следующем году и опять устроить соревнование, но уже с улучшенным бенчмарком. Так что будем ждать 👉