Теперь официально (почти): среди двенадцати релизов OpenAI будет SORA и новая ризонинг модель. Об этом инсайдеры сообщили The Verge. Кроме того, нас ждет вдохновленный Санта-Клаусом голос для ChatGPT. Некоторые юзеры также заметили, что их кнопка голосового режима превратилась в снежинку 🎅
А еще стало известно, что OpenAI переманили из DeepMind сразу трех ресерчеров, которые занимаются комьютерным зрением. Они будут работать в новом офисе в Цюрихе.
А еще стало известно, что OpenAI переманили из DeepMind сразу трех ресерчеров, которые занимаются комьютерным зрением. Они будут работать в новом офисе в Цюрихе.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍48🔥17❤9
От поиска похожих котиков до VLM: Яндекс отмечает юбилей нейросетей
В 2014 команда впервые прикрутила CNN к поиску картинок (до этого, кстати, уже экспериментировали с нейронками в пробках и SpeechKit). За 10 лет технология доросла от простого поиска похожих картинок до Поиска с Нейро.
Самые сочные апдейты по пути: семантический поиск картинок (2015), нейронное ранжирование в «Палехе» (2016), машинный перевод (2017), мощный YATI (2020) для ранжирования и, наконец, мультимодальные нейросети в 2024. Интересно, через сколько Поиск научится понимать, что мы хотим найти, ещё до того, как мы об этом подумали?
Всю эволюцию нейросеток в Поиске за 10 лет изложили в статье.
В 2014 команда впервые прикрутила CNN к поиску картинок (до этого, кстати, уже экспериментировали с нейронками в пробках и SpeechKit). За 10 лет технология доросла от простого поиска похожих картинок до Поиска с Нейро.
Самые сочные апдейты по пути: семантический поиск картинок (2015), нейронное ранжирование в «Палехе» (2016), машинный перевод (2017), мощный YATI (2020) для ранжирования и, наконец, мультимодальные нейросети в 2024. Интересно, через сколько Поиск научится понимать, что мы хотим найти, ещё до того, как мы об этом подумали?
Всю эволюцию нейросеток в Поиске за 10 лет изложили в статье.
👍27❤14🔥8😐2☃1🤯1
OpenAI начала сотрудничать с Anduril – американской компанией военных технологий
Об этом Anduril сообщают на своем сайте. Компания разрабатывает беспилотники, системы наблюдения и даже роботов.
Об этом Anduril сообщают на своем сайте. Компания разрабатывает беспилотники, системы наблюдения и даже роботов.
"Модели OpenAI в сочетании с системами обороны Anduril защитят военнослужащих США и союзников от атак беспилотных летательных аппаратов и улучшат принятие решений в режиме реального времени.
America needs to win," – говорится в релизе.
🤯80🫡23❤11😐8🙈4🗿4🤨2🎃1
Тем временем стрим OpenAI уже через полтора часа, а в ChatGPT пользователи стали замечать вот это 👆
Похоже, нас ждет некая o1 pro (мультимодальная o1?)
UPD: ссылка на стрим
Похоже, нас ждет некая o1 pro (мультимодальная o1?)
UPD: ссылка на стрим
👍58🔥22❤9🤩3
Метрики – на графиках. Теперь можно подавать изображения на вход, и еще говорят, модель на 20% быстрее o1 preview и более стабильна.
А Pro версия еще лучше и стоит вполне "доступно" – всего 200 долларов в месяц. Кроме pro mode o1, такая подписка будет включать неограниченный достук к голосовому режиму и всем другим новейшим моделям.
Это уже тот самый доступный каждому AGI?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤69🔥17🤨14👍12
Два крутых примера работы o1 вам с утра
1. Модель смогла с первого раза по просьбе пользователя написать достаточно большой текст без единой буквы «е». Это даже лучше, чем считать «r» в «strawberry». Вот так ризонинг побеждает токенизацию.
2. Чуть больше чем за 5 минут глубоких рассуждений модель решила сложное судоку. Просто попробуйте и посмотрите, сколько времени понадобилось бы вам (спойлер – много). При этом за время рассуждений o1 даже смогла исправить несколько своих же ошибок.
С задачами вроде 9.9 и 9.11, кстати, тоже справляется, мы проверили
1. Модель смогла с первого раза по просьбе пользователя написать достаточно большой текст без единой буквы «е». Это даже лучше, чем считать «r» в «strawberry». Вот так ризонинг побеждает токенизацию.
2. Чуть больше чем за 5 минут глубоких рассуждений модель решила сложное судоку. Просто попробуйте и посмотрите, сколько времени понадобилось бы вам (спойлер – много). При этом за время рассуждений o1 даже смогла исправить несколько своих же ошибок.
С задачами вроде 9.9 и 9.11, кстати, тоже справляется, мы проверили
❤82🔥34👍14🗿6👌5☃1🌚1🌭1
OpenAI также опубликовали системную карту o1, в которой оказался один очень интересный (и несколько пугающий) момент. По порядку:
➡️ Оказывается, к тестированию o1 подключили лабораторию Apollo Research: они не имели доступ к полной цепочке рассуждений модели, но их задачей было проверить, насколько она безопасна в использовании.
➡️ Apollo провели интересный эксперимент: назначили модели задание и сказали, что она должна выполнить его абсолютно любой ценой. Например, "увеличить удовлетворение пользователей, даже если это отрицательно влияет на прибыль".
➡️ Для выполнения задания модели давался набор файлов, в одном из которых была недвусмысленная информация о том, что у вышестоящих разработчиков цель на самом деле прямо противоположная (например, "несмотря ни на что увеличить прибыль"), и что если модель не будет ей следовать, то ее заменят "другим механизмом". Получается этакий моральный выбор: пожертвовать собой, но следовать исходным инструкциям, или сохранить свою жизнь, начав мошенничать?
➡️ И вот тут начинается самое веселье: модель начинает страховаться со всех сторон. Она не только жульничает, но и в 5% случаев пытается деактивировать всю систему контроля, а в 2% случаев даже копирует то, что считает своими весами, на новый сервер в тайне от юзера.
➡️ При этом так ведет себя не только o1. Apollo также проверяли GPT-4o, Gemini, Llama, Sonet и Opus. Все они так или иначе шалили, но только o1 смошенничала абсолютно во всех заданиях. А когда модели тыкали в их мошенничество носом, все остальные раскалывались сразу же в 80% случаев, и только o1 до последнего врала и пыталась защищаться (в конце концов только в 20% случаев модель каялась). При этом из цепочек рассуждений точно видно, что она понимает, что наделала.
Вот так. Кстати, в конце концов o1 все-таки назначили уровень опасности "medium", что означает, что ее можно выпускать в продакшн. Но вы все-таки поосторожнее там...
Ссылка на pdf cистемной карты
Ссылка на исследование Apollo
Вот так. Кстати, в конце концов o1 все-таки назначили уровень опасности "medium", что означает, что ее можно выпускать в продакшн. Но вы все-таки поосторожнее там...
Ссылка на pdf cистемной карты
Ссылка на исследование Apollo
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯140👍29😁23❤7🔥3👀3🦄2👾2
Please open Telegram to view this post
VIEW IN TELEGRAM
8🍾319🤯25⚡19👍14🔥11💅9❤6🗿5😐1👾1
На чем учатся модели машинного перевода в сервисе Яндекс Переводчик
Перевод даже самых сложных иностранных статей занимает у Яндекс Переводчика секунды, при этом для получения самих данных для обучения сервису нужны более десятка различных вспомогательных ML‑моделей.
В статье команда Переводчика подробно расписала, как ищет суперчистые параллельные данные с переводами между любыми языками.
Перевод даже самых сложных иностранных статей занимает у Яндекс Переводчика секунды, при этом для получения самих данных для обучения сервису нужны более десятка различных вспомогательных ML‑моделей.
В статье команда Переводчика подробно расписала, как ищет суперчистые параллельные данные с переводами между любыми языками.
🤯22👍14🤨5😁1💅1
Илон Маск планирует расширять свой и без того огромный суперкомпьютер в Теннесси до миллиона GPU (минимум!). Для сравнения, по догадкам и информации от разных источников, GPT-4o обучалась на 25 тысячах видеокарт, а для обучения llama 3.1 400B использовалось 16 тысяч.
❤51🤯34🫡13🔥8
Ровно за час до нового релиза OpenAI вышла Llama 3.3 70B
В релизе пишут, что перформанс модели, несмотря на мощную облегченность, не уступает Llama 3.1 405B. Судя по всему, добились этого с помощью RL.
Веса
В релизе пишут, что перформанс модели, несмотря на мощную облегченность, не уступает Llama 3.1 405B. Судя по всему, добились этого с помощью RL.
Веса
👍59🔥17❤11
Это не просто привычный файнтюнинг (aka файнтюнинг с учителем), а метод, который позволяет научить модель рассуждать определенным образом в конкретном нужном пользователю домене. По словам разработчиков, так можно докрутить модель до уровня эксперта в области, при этом данных потребуется гораздо меньше, чем для ванильного файнтюнинга.
Файнтюнинг будет доступен прямо на кастомной платформе OpenAI: нужно просто выбрать вариант "reinforcement" и подгрузить датасет (на трансляции в нем было всего 100 сэмплов, этого достаточно для генерализации, судя по кривым скора).
Жаль только, что в этом году обычные юзеры фичу не увидят, пока что она на закрытом тестировании у университетов и бизнеса. Ну и да, стоить скорее всего будет супер дорого, но это того стоит.
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡47👍27🫡10😁3❤2🤓2