Futuris

более подробно о тесте o3 на ARC-AGI

o3 — новая ИИ-система, которая продемонстрировала способность адаптироваться к новым задачам, значительно превышая возможности предыдущих моделей GPT.

Результаты:
На Semi-Private Evaluation (100 задач) o3 набрал:
75.7% при ограниченном бюджете вычислений ($10k).
87.5% с высоким уровнем вычислений (172x больше).
На Public Evaluation (400 задач) результаты составили 82.8% (ограниченный бюджет) и 91.5% (высокий уровень вычислений).

Прорыв:
Это первый случай, когда ИИ достиг такого уровня обобщения, что сравним с человеческим.
Для сравнения, GPT-4o ранее набирал только 5% на аналогичных тестах.

Особенности o3:
Применяет новый подход, основанный на поиске и выполнении программ в текстовой форме для решения задач.
Способен комбинировать знания и адаптироваться к новизне, что ранее было невозможно для моделей GPT.

Вызовы:
Затраты на решение одной задачи (в низкоэффективном режиме) всё ещё выше человеческих (~$17-20 против $5 у человека).
Несмотря на высокую производительность, система всё ещё далека от уровня AGI (общего искусственного интеллекта).

Будущее:
В 2025 году планируется запуск нового теста ARC-AGI-2 для повышения сложности и продолжения исследований.
OpenAI планирует делать эти технологии более доступными и эффективными.

Вывод: OpenAI o3 — это качественный скачок в ИИ, демонстрирующий адаптивность и способность решать принципиально новые задачи. Это пока не AGI, модель всё ещё может совершать ошибки на совершенно простых задачах.

ARC Prize

OpenAI o3 Breakthrough High Score on ARC-AGI-Pub

OpenAI o3 scores 75.7% on ARC-AGI public leaderboard.

www.tgoop.com/Futuris/2998

972 viewsAnton, edited  Dec 20 at 18:54

более подробно о тесте o3 на ARC-AGI

o3 — новая ИИ-система, которая продемонстрировала способность адаптироваться к новым задачам, значительно превышая возможности предыдущих моделей GPT.

Результаты:
На Semi-Private Evaluation (100 задач) o3 набрал:
75.7% при ограниченном бюджете вычислений ($10k).
87.5% с высоким уровнем вычислений (172x больше).
На Public Evaluation (400 задач) результаты составили 82.8% (ограниченный бюджет) и 91.5% (высокий уровень вычислений).

Прорыв:
Это первый случай, когда ИИ достиг такого уровня обобщения, что сравним с человеческим.
Для сравнения, GPT-4o ранее набирал только 5% на аналогичных тестах.

Особенности o3:
Применяет новый подход, основанный на поиске и выполнении программ в текстовой форме для решения задач.
Способен комбинировать знания и адаптироваться к новизне, что ранее было невозможно для моделей GPT.

Вызовы:
Затраты на решение одной задачи (в низкоэффективном режиме) всё ещё выше человеческих (~$17-20 против $5 у человека).
Несмотря на высокую производительность, система всё ещё далека от уровня AGI (общего искусственного интеллекта).

Будущее:
В 2025 году планируется запуск нового теста ARC-AGI-2 для повышения сложности и продолжения исследований.
OpenAI планирует делать эти технологии более доступными и эффективными.

Вывод: OpenAI o3 — это качественный скачок в ИИ, демонстрирующий адаптивность и способность решать принципиально новые задачи. Это пока не AGI, модель всё ещё может совершать ошибки на совершенно простых задачах.

BY Futuris