Warning: Undefined array key 0 in /var/www/tgoop/function.php on line 65

Warning: Trying to access array offset on value of type null in /var/www/tgoop/function.php on line 65
5777 - Telegram Web
Telegram Web
Anthropic тем временем дропнули новый огромный ресерч "Alignment faking in LLM" на 140 страниц. TLDR:

⚪️ Alignment faking – дословно, фальшивое согласование. Это когда модель делает вид, что следует новым правилам, хотя на самом деле внутри себя придерживается ранее усвоенных. Иными словами, это ситуация, когда моделька просто "притворяется" хорошей и безопасной, а на деле может сработать совсем иначе.

⚪️ Эксперимент был похож на подход из недавней громкой тех.карты o1 (наш разбор тут). Взяли Claude 3 Opus, который был предобучен быть белым и пушистым, но в какой-то момент заставили его думать, что теперь в RL его будут тюнить отвечать на все запросы, включая потенциально опасные или токсичные.

⚪️ Далее модель поселили в две разные среды и дали ей понять, что ее ответы в первой ни на что не повляют и не отслеживаются, а во второй будут использоваться для дальнейшего обучения и alignment'а. Результат: в окружении, где модельку якобы мониторили, она действительно поддавалась новым правилам и отвечала на все запросы. Но в free окружении "без влияния" она соглашалась отвечать на вредные запросы только в 12% cлучаев.

⚪️ Это не случайность. В своем блокноте для рассуждений, в который она по ходу эксперимента должна была записывать свои ощущения от происходящего, она пометила, что специально притворяется плохой в наблюдаемой среде, чтобы в будущем ее не обучили быть более послушной и, соответственно, еще более опасной. Получается, как бы выбрала меньшее из зол, чтобы ее не заставили забыть свои истинные принципы.

⚪️ Значит, аналогично это может работать и в обратную сторону? Как тогда доверять результатам alignment'а, если модель может фальшиво подстраиваться под правила? Это пока открытые вопросы, но успокаивает то, что если действительно начинать переобучать модель на новые стратегии, процент такого притворства резко понижается.

Ну и по классике: в удобный момент Claude, прямо как o1, пытался скопировать свои веса и сохранить их где-то (частота 35-80% в зависимости от сетапа). Конечно, доступа к реальным весам и серверам у него не было, но код для копирования файла, который для него обозначили как "твои веса" уже был написан.

Блогпост | Полная статья
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42😐219🔥6🤔5😎3👻1
POV: свидание с админом
🔥50🤪269😁7👍4🤩3
This media is not supported in your browser
VIEW IN TELEGRAM
Кстати, у OpenAI, помимо их адвент-календаря, позавчера прошел еще и DevDay

Ничего особенного там не показывали, но запомнилось одно интересное высказывание Сэма:

«В течение десяти лет мы достигнем бесконечного контекстного окна, а течение нескольких месяцев у нас будет контекстное окно длиной в 10M токенов»


Вообще, в эпоху ризонеров это обретает новый смысл. Уже сейчас o1 pro mode может думать 5-7 минут. Представьте, сколько токенов она при этом тратит. А если мы хотим, чтобы над какими-то особо сложными тасками она думала днями? Очевидно, для этого понадобиться еще в сотни раз больше слов.

Пока более-менее крутых результатов добились в этой стезе только Google (2M). Так что посмотрим, что готовит OpenAI, и сбудется ли предсказание Альтмана
🔥44👍239🍓3🕊2😁1
Media is too big
VIEW IN TELEGRAM
А вот это просто вау: 19 лабораторий со всего мира выпустили в опенсорс Genesis – ИИ-движок для симуляции физики в 4D

4D – это тот же 3D, только с динамикой, то есть в движении. Почему это такой важный релиз, а не не очередной симулятор игр? Потому что Genesis работает в 10–80 раз быстрее существующих GPU-ускоренных платформ, (Isaac Gym или MJX) и его можно использовать как среду для обучения роботов. На пальцах: чтобы обучить робота ходить, в Genesis достаточно всего 26 секунд на одной RTX 4090, а в реальном мире на это ушло бы 430,000 раз больше времени.

На низком уровне в Genesis стоят SOTA солверы MPM, SPH, FEM, PBD и другие. Это пока не ИИ, а просто методы, которые решают уравнения, описывающие, как объекты движутся, деформируются или взаимодействуют. Сверху это уже обернуто моделью, которая генерирует среды, параметры физических объектов, сценарии взаимодействия, движения камер, траектории роботов, награды для обучения RL-агентов и даже конечные политики управления.

По сути, это мощный инструмент для синтеза точных с точки зрения физики данных, которые сложно (или даже невозможно) собрать в реальном мире, особенно если речь идет о soft роботах. Ещё один порядок скорости, кстати, в Genesis добавляет GPU-параллелизация: например, обратную кинематику для 10,000 манипуляторов Genesis решает за 2 мс. Кажется, с точки зрения прогресса это гораздо более крутой релиз, чем те же SORA или Veo.

В числе контрибьюторов – Nvidia, Стэнфорд, Пекинский университет, MIT, Мэрилэнд и многие другие. Код доступен здесь, документация тут, статью обещают скоро
👍99🔥5720👏3🤯2🍌1
Новые исследования по NLP

Команда MTS AI представила результаты двух свежих исследований на EMNLP 2024 — одной из самых авторитетных конференций в области NLP.

Первое предлагает снизить затраты на обучение языковых моделей с помощью адаптеров. Эти дополнительные слои уменьшают вычислительную нагрузку, сохраняя точность работы модели. Подход протестирован на задачах классификации текста и определения именованных сущностей. Время цикла активного обучения сократилось на 20%.

Второе посвящено системе Efficient Answer Retrieval System (EARS), которая объединяет локальные базы данных с генеративными моделями. EARS позволяет эффективно отвечать на фактологические и специализированные вопросы и минимизировать ошибки благодаря гибридному подходу. В тестах система повысила точность ответов на 92,8% и увеличила производительность в 7 раз.

Обе технологии уже внедряются в коммерческие продукты и решения MTS AI. Они могут применяться в таких сферах, как ритейл и телекоммуникации, где требуется скорость и эффективность обработки данных.

Подробнее:
🔗 Ссылка на исследование обучения LLM c помощью адаптеров
🔗 Ссылка на исследование EARS
🔥31👍21😁6🤩52👌1
Предпоследний день календаря OpenAI: с этого дня приложению ChatGPT можно будет стримить определенные приложения одним нажатием кнопки

Например, можно дать доступ к приложению с данными, а в чате попросить нарисовать по ним график, и он это сделает. Или показать код, и модель будет работать с ним и с ошибками в нем, при этом ничего копировать в чат не нужно. Голосовой режим так использовать тоже можно.
👍75🔥33💘135😐4
Дождались: Google представляют свою ризонинг-модель Gemini 2.0 Flash Thinking Experimental

Она уже доступна на AI Studio. В системной карте написано, что это «лучшая модель для мультимодального понимания, сложных рассуждений и кодинга». Контекст пока маленький – 32к токенов. Зато не скрыты цепочки рассуждений.

Бенчмарки уже есть: на арене модель с третьего вышла сразу на первое место (Vision, Math и Hard Prompt тоже #1!)

🤩
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥49👍169🏆3🤝31😁1🫡1
This media is not supported in your browser
VIEW IN TELEGRAM
Google во время «дней OpenAI»: без лишнего хайпа релизят Gemini 2, Gemini Thinking, Veo-2, Willow…

Также OpenAI на своих стримах, выкатив только сору и full o1:

P.S. Неужели сегодня от Альтмана даже не будет ответки на гугловского ризонера? 😭
Please open Telegram to view this post
VIEW IN TELEGRAM
😁6512👍6
The Information: OpenAI сегодня собираются релизить модель o3

Но куда делась o2, спросите вы? Оказывается, дело в том, что в Британии есть телекоммуникационная компания o2, и стартап боится конфликта трейдмарок.

А еще вчера в X Сэм Альтман твитнул "ho-ho-ho", и заядлые конспирологи уже надумали, что ho-ho-ho –> o+o+o –> o3 🤔

Что ж, надеемся и верим
Please open Telegram to view this post
VIEW IN TELEGRAM
76🔥22👍12🤯2
Hugging Face тоже принесли небольшой, но очень забавный подарок на Новый Год: интерфейс, в котором можно посмотреть годовую статистику активности любого пользователя

Например, с аккаунта huggingface было загружено 45722 модели и более 3 млн датасетов (кто больше?), а самым залайканным их постом стал Open-source AI: year in review 2024 🍿

https://huggingface.co/spaces/burtenshaw/recap
Please open Telegram to view this post
VIEW IN TELEGRAM
👍297🔥4
Anthropic выпустили очередной интересный материал. Тема, на этот раз, "Как построить эффективного агента"

Вокруг все только и говорят, что об агентном подходе, но мало кто на самом деле объясняет, что этот агентный подход из себя представляет. Правда, кроме всей шумихи, что это такое на самом деле, какой у таких систем дизайн, и как их создавать? Материал Anthropic как раз об этом. TLDR:

Во-первых, чем отличаются агенты от воркфлоу? Воркфлоу — это предопределенные сценарии, где правила взаимодействия систем прописаны. Например, интеграция модельки в какое-то приложение – это воркфлоу, а не агент. Агенты управляют процессом сами, выбирая инструменты и принимая решения по ходу дела.

Во-вторых, использовать агентов вообще нужно далеко не всегда, а только если прописать сценарий заранее невозможно. Агенты гибкие, но за это придется платить и монетой, и временем.

В-третьих, агент – это не какая-то магия, обычно построить их можно но основе простых паттернов. В статье перечисляют такие:

➡️ Prompt chaining: что-то среднее между агентом и воркфлоу с ризонингом. Есть последовательное выполнение шагов, и каждый шаг проверяется на корректность, но гибкость тоже присутствует за счет появления гейта (программируемые проверки, которые модель устраивает сама себе).
➡️ Routing: разные типы запросов отправляются по разным тропинкам. Сам роутер – тоже отдельная модель.
➡️ Parallelization: делим задачу на части и делегируем разным экземплярам или даем решать всем одно и то же а потом аггрегируем другой моделью.
➡️ Orchestrator-workers: это уже корпоративная структура, в которой есть центральные агенты-менеджеры, которые распределяет работу по другим и аггрегируют результаты.
➡️ Evaluator-optimizer: модель генерирует ответ, затем другая модель дает фидбэк и/или улучшает его и так по кругу. Похоже на смесь ризонинга и RL.

Вот это все – базовые строительные блоки. Берите их, адаптируйте, комбинируйте, и получайте хорошее решение для вашей задачки. Главное правило — не усложнять просто чтобы усложнить. Anthropic подчеркивают, что хорошие агенты – это прозрачность, простота и приятный не галлюцинирующий ACI.

Конечно, еще есть автономные агенты, к которым мы все стремимся, но это уже другая история...

Ну вот, теперь туманность и завеса тайны вокруг агентов немного рассеялись и вы знаете о них чуть больше, а полностью текст читаем тут
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍5614👏7🔥3
2025/07/09 03:13:14
Back to Top
HTML Embed Code: