Вот что показали сегодня:

O1/O1-mini теперь можно файнтюнить – то есть можно взять свой датасет, условно научный или юридический (или любой другой), и сделать лучшую модель в узкой области; самое интересное, что уже 20 (!) примеров решенных задач датасета, уже достаточно для файнтнюна модели в узкую область

Обычно такие модели дороже в инференсе, и сам файнтюн стоит денег – доступно будет в следующем году

А я, тем временем, продолжаю тестировать o1 pro – буду переодически писать апдейты

Первые выводы про o1 Pro

TL;DR: o1 Pro — модель, нацеленная на глубину и точность ответов, особенно полезная для людей, уже разбирающихся в теме и способных оценить качество выдачи. Без чётких вводных модель может быть поверхностной, но при грамотных запросах способна дать действительно ценные инсайты. Но это все еще не AGI.

— o1 Pro ориентирована на специалистов, глубоко погружённых в свою область. Она легко разбирает сложные научные данные, тексты любой сложности и код, но настоящую пользу приносит тем, кто может понять, где модель поверхностна или ошибается, и скорректировать её ход мыслей.

— Я использовал эту модель в бизнесе и пытался применить её для решения маркетинговых задач. По умолчанию она выдавала лишь «первого уровня» посылы, просто перечисляя фичи. Но опытный маркетолог знает, что клиенты покупают не функционал, а историю и идею. Например, Apple не говорит: «Мы добавили камеру получше», а показывает, как люди сохраняют важные моменты. Чтобы o1 Pro смогла сделать то же самое, нужно направлять её, задавая правильные вопросы и требуя глубины, а не просто сводки преимуществ.

— Визуальный анализ у o1 Pro серьёзно продвинулся: она лучше распознаёт детали на изображениях по сравнению с предыдущими моделями, которые я пробовал.

— При создании художественных текстов (я пробовал сделать что-то вроде интерактивной текстовой игры с зомби-апокалипсисом) o1 Pro пишет шикарно. Она хорошо держит логику сюжета, помнит детали и героев, не скатывается в бессвязный поток. Однако без новых вводных идей от пользователя сама модель не двигается дальше и не создаёт неожиданные сюжетные повороты, полагаясь на креативность пользователя.

— В написании кода o1 Pro не лучше других моделей. Ничего сверхъестественного в её программных навыках я не заметил, еще и учитывая как долго она думает.

— Модель обрабатывает запросы довольно долго: иногда около минуты, а порой и до пяти. Это значит, что быстро спросить у неё, например, рецепт прямо в магазине, не получится. Скорее, o1 Pro ассистент для вдумчивого взаимодействия, когда вы можете задать вопрос и заняться своими делами, пока она «думает».

— В плане факт-чекинга o1 Pro показала себя с лучшей стороны. За всё время тестирования мне не удалось поймать её на откровенной фактической ошибке. Если модель сталкивается с сомнительной информацией, она либо отказывается отвечать, либо указывает на неточность, демонстрируя глубину самопроверки, либо говорит мне, что я не прав.

— Этот пост написан моделью o1 Pro по моей надиктовке, без последующего редактирования. На подготовку текста ушло примерно столько же времени, сколько заняло бы самостоятельное наборное редактирование с ноутбука.

Вывод: Пока у меня есть сомнения насчёт того, окупит ли o1 Pro стоимость в 200 долларов в месяц. Нынешняя версия «обычной» O1 решает многие схожие задачи не хуже. Посмотрим, что будет дальше, когда OpenAI покажет все обновления.