Всё так, всё циклично 😀

ИИволюция

OpenAI релизнули своего первого AI агента - Operator

Агент самостоятельно “решает” рутинные задачи в браузере. Хочешь купить билеты, заказать продукты или забронировать столик? Operator сделает всё за тебя, просто попроси! Но при этом на каждом важном шаге будет спрашивать вашего подтверждения.

- Отдельная страница https://operator.chatgpt.com

- Модель Computer-Using Agent (CUA), 4o-vision обученная работать с UI, размышлять и исправлять саму себя, если что-то пошло не так или звать на помощь пользователя (доверите ей свой биткоин кошелек?).

- Видит создавая скриншоты экрана, т.е. код страницы агент не видит, а только то, что отображается на экране.

- Работает в облачном браузере (на стороне OpenAI). Можно запускать несколько параллельных задач (как будто несколько вкладок и во всех что-то делается).

- Ручное управление: можно перехватывать управление на себя, вносить изменения, при этом сказав агенту, что именно вы изменили вручную, чтобы он понял контент и продолжил выполнять задачу.

- Готовые интеграции: Умеет взаимодействовать с крупными сервисами: бронировать отели, рестораны, заказывать еду и так далее.

- Кастомные промпты: можно задавать свои кастомные инструкции и сохранять их на главный экран оператора, чтобы позже вызывать повторно (регулярные задачи).

- Ограничения: Не лезет в банковские транзакции и не решает высокорисковые вопросы (типа выбора, куда отправлять резюме). Всё-таки это пока что экспериментальный «помощник», а не супергерой.

- Доступен в Pro тарифе (за $200) и пока только в США.

Почитать подробнее о деталях - тут.

ИИволюция

Мои мысли:

- Это пока это preview (сырая штука и делаем поблажки), поэтому раскатывают только на Pro и только в США. Соберут фидбек, подтюнят, улучшат и будут раскатывать дальше. Обещают постепенно выпускать разных агентов, в том числе для работы в ОС.

- Нравится: можно запускать несколько задач. Вот это прям круто!

- Не нравится: на каждое важное действие требуется одобрение пользователя, а хотелось бы более умного подхода в роли ассистента. Я ведь чётко сказал «забронируй столик на 6 в ресторане Х», зачем он спрашивает что-то в духе «Вы уверены? Точно бронировать?».

На видео видно, что пока агент пытается забронировать столик в ресторане, он два раза просит подтвердить действие. Это занимает время (особенно если пользователь отвлёкся на другие задачи), и пока агент ждал одобрения, кто-то другой увёл столик, и пользователь потерял больше времени, чем если бы он сделал всё сам.

Вариабельность. На видео модель оформляет список покупок, видит в списке нужный товар (первый в списке) и добавляет его в корзину, хотя рядом, вероятно, были более дешёвые или более качественные варианты. Нужно пощупать руками, но пока в запросе пользователь скорее должен больше конкретики указывать, например, какие именно яйца нужно добавлять в корзину.

Если перехватить управление, то агент не видит того, что вы сделали или изменили, и вам нужно вручную описать ему: «Я изменил даты вылета/добавил другие яйца. Продолжай». Понятно, что сейчас «зрение» основано на скриншоте (распознал на нём всё), а хочется, чтобы это работало как видеопоток.

Официально агент не решает капчи (но это только официально; ниже покажу пример, как умельцы уже обманывают его).

Агент не сможет пойти проверить вашу почту и ответить на письма. Но в реальности этот кейс гораздо интереснее, чем забронировать столик в ресторане. Почему в любой демонстрации агентов всегда первым делом бронируют столик в ресторане? Тем более всё равно мне нужно несколько раз давать своё согласие.

Ждём раскатки на Plus и доступ в API.

А ещё хотелось бы использовать это в Advanced Voice Mode, чтобы работать как с ассистентом. Пусть ищет мне столик в ресторане, спрашивает подтверждения (тут человек меньше отвлекается, ведь достаточно сказать «да» и продолжить заниматься своими делами).

И да, чтобы выполнять рутинные задачи, нужны более умные ассистенты, подключающиеся к моим аккаунтам, данным, документам и прочему. Мне условно хочется показать агенту форму отчёта, которую я сам уже ранее заполнял, указать, где брал все эти данные, а он, чтобы регулярно повторял эти действия и делал всю рутину за меня, уведомляя о готовности и делая краткие выводы.

В общем, начало положено (OpenAI не первые в этом, но, как заявляют, их агент пока более точно выполняет команды, чем у конкурентов).

А вы что думаете?

ИИволюция

И вот еще пример, как заставить Оператора решить капчу (но думаю такие штуки точно исправят и больше ограничений/запретов расставят).

ИИволюция

Мы создаём умных ассистентов, которые могут за нас делать рутину, но есть одно но! 😅

Явно назревают изменения в подходах по созданию «интерфейсов». Зачем создавать сложный UI, если ассистент сам сделает за меня всё необходимое (ему для этого красивости не требуются, и уж тем более капчи).

ИИволюция

Команда Operator вчера релизила на прод и положили ChatGPT.

А у вас какие ритуалы перед релизами? 😀

ИИволюция

В наше время удивляют люди, которые думают, что другие компании этим не занимаются (сбором и хранением информации о пользователях).

И уж тем более OpenAI, которая использует всю доступную и недоступную информацию, чтобы обучать модели, и уж точно хранит IP адреса и многое другое.

В наше время как раз не делать это (не хранить информацию), является большой глупостью для бизнеса.

Считаете иначе?

ИИволюция

Кажется, изначально идея Сэма была «Доступный AI в каждый дом».

Китайцы получается опередили. Такое прощать нельзя! Сэм и ко злятся. DeepSeek уже даже из аппстора и гугл плея в Италии удалили. Дальше больше. Пошли расследования, будут угрозы блокировки, санкции.

Ведь доступный AI в каждый дом должен быть только от одной компании в мире.

ИИволюция