Четверо ученых-основателей ML и Дженсен Хуанг выиграли премию VinFuture Grand Prize
Это очень престижный денежный приз, который каждый год вручают за заслуги в науке и технологиях. В этом году впервые награждали за заслуги в ML, и наградили сразу пятерых: Дженсена Хуанга, отцов-основателей Йошуа Бенджио, Яна Лекуна и Джеффри Хинтона и легендарную Фей-Фей Ли.
Мльщики забрали в этом году, кажется, все возможные награды
Это очень престижный денежный приз, который каждый год вручают за заслуги в науке и технологиях. В этом году впервые награждали за заслуги в ML, и наградили сразу пятерых: Дженсена Хуанга, отцов-основателей Йошуа Бенджио, Яна Лекуна и Джеффри Хинтона и легендарную Фей-Фей Ли.
Мльщики забрали в этом году, кажется, все возможные награды
❤82🎉20🏆12😁5
Сегодня экватор адвент-календаря от OpenAI: показали Advanced Voice Mode
Модель наконец-то работает с видео и демонстрацией экрана в реальном времени. Работает довольно быстро и хорошо запоминает все, что ей показают. Получается "бесплатный" идеальный инструктор в любом деле. Доступ начнут выдаваться уже сегодня, поддержка русского языка также присутствует.
Также в войсмод добавили голос Санты, заряжаемся новогодним настроением
Модель наконец-то работает с видео и демонстрацией экрана в реальном времени. Работает довольно быстро и хорошо запоминает все, что ей показают. Получается "бесплатный" идеальный инструктор в любом деле. Доступ начнут выдаваться уже сегодня, поддержка русского языка также присутствует.
Также в войсмод добавили голос Санты, заряжаемся новогодним настроением
1☃54❤15👍10🎄7🗿2
Microsoft анонсировали Phi-4!
Это следующая версия всеми любимой малышки Phi-3 теперь имеет 14В параметров и работает наравне с GPT-4o mini и совсем недавно выпущенной Llama-3.3-70B. На AMC 10/12 она достигает 91,8% – это даже больше, чем у Gemini Pro 1.5.
В тех.отчете компания объявляет, что в основном таким перформансом модель обязана качественным синтетическим и органическим данным на претрейне и продвинутым методам постобучения. Говорят, добавили в DPO pivotal token search (PTS). Это что-то вроде метода, завязанного на супер-токенах в ризонинге, статью о котором мы недавно подробно разбирали.
Потрогать пока нельзя, на HF обещают завести только на следующей неделе. Пока читаем техрепорт и блогпост
Это следующая версия всеми любимой малышки Phi-3 теперь имеет 14В параметров и работает наравне с GPT-4o mini и совсем недавно выпущенной Llama-3.3-70B. На AMC 10/12 она достигает 91,8% – это даже больше, чем у Gemini Pro 1.5.
В тех.отчете компания объявляет, что в основном таким перформансом модель обязана качественным синтетическим и органическим данным на претрейне и продвинутым методам постобучения. Говорят, добавили в DPO pivotal token search (PTS). Это что-то вроде метода, завязанного на супер-токенах в ризонинге, статью о котором мы недавно подробно разбирали.
Потрогать пока нельзя, на HF обещают завести только на следующей неделе. Пока читаем техрепорт и блогпост
👍46🔥13☃9❤4😎3😁2
Известный ученый Энди Конвинский объявил, что подарит миллион долларов тем, кто пройдет 90% обновленного SWE-bench со своей моделькой
Энди Конвинский – сооснователь Databricks, Perplexity и Laude Ventures, а также крупный инвестор. Вчера он запустил на Kaggle соревнование, в котором написал:
Что тут интересного?
– Во-первых, то, что во избежании лика данных задачи для теста будут собираться уже после окончания приема сабмитов (поэтому и написано new version). В оригинале SWE-bench – это полностью открытый датасет GitHub issues, под который можно легко переобучиться. А тут тест полностью скрыт.
– Во-вторых, появляется ограничение по компьюту: моделька сможет считать только 24 часа на 4XL4 (а это совсем-совсем немного памяти).
Так что 90% звучит действительно очень сложно. Не зря предлагают миллион. При этом соревнование будет длиться всего три месяца. Посмотрим, что из этого выйдет.
www.kaggle.com/competitions/konwinski-prize/overview
Энди Конвинский – сооснователь Databricks, Perplexity и Laude Ventures, а также крупный инвестор. Вчера он запустил на Kaggle соревнование, в котором написал:
I'm Andy, and I’m giving $1M to the first team that exceeds 90% on a new version of the SWE-bench benchmark containing GitHub issues we collect after we freeze submissions. I want to see what a contamination-free leaderboard looks like. Your challenge is to build an AI that crushes this yet-to-be-collected set of SWE-bench issues.
Что тут интересного?
– Во-первых, то, что во избежании лика данных задачи для теста будут собираться уже после окончания приема сабмитов (поэтому и написано new version). В оригинале SWE-bench – это полностью открытый датасет GitHub issues, под который можно легко переобучиться. А тут тест полностью скрыт.
– Во-вторых, появляется ограничение по компьюту: моделька сможет считать только 24 часа на 4XL4 (а это совсем-совсем немного памяти).
Так что 90% звучит действительно очень сложно. Не зря предлагают миллион. При этом соревнование будет длиться всего три месяца. Посмотрим, что из этого выйдет.
www.kaggle.com/competitions/konwinski-prize/overview
👍51❤14🤯7🔥2👾1
Яндекс Поиск, Сбер AI и MTS AI признаны лучшими работодателями в сфере ИИ
Об этом сообщает TAdviser: аналитики оценивали 45 компаний и сравнивали их по пяти критериям, включая карьерное развитие, прокачку хард скиллов сорудников, участие в развитии сообщества и др (подробнее – тут). В финал вышли 20 работодателей, а в тройку лидеров попали Яндекс Поиск, Сбер AI и MTS AI👍
А вот еще немного интересной статистики из этого исследования: сейчас уже 90%(!) крупнейших компаний в России используют ИИ, при этом в среднем команды ML-разработчиков составляют 50 человек, а в корпорациях – 1000.
Теперь вы знаете, куда отправлять резюме
Об этом сообщает TAdviser: аналитики оценивали 45 компаний и сравнивали их по пяти критериям, включая карьерное развитие, прокачку хард скиллов сорудников, участие в развитии сообщества и др (подробнее – тут). В финал вышли 20 работодателей, а в тройку лидеров попали Яндекс Поиск, Сбер AI и MTS AI
А вот еще немного интересной статистики из этого исследования: сейчас уже 90%(!) крупнейших компаний в России используют ИИ, при этом в среднем команды ML-разработчиков составляют 50 человек, а в корпорациях – 1000.
Теперь вы знаете, куда отправлять резюме
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥48🤯10👍7🙈5🌭3❤2🍌2😁1🤪1
Новый ресерч от Anthropic: стартап представляет систему для анализа диалогов пользователей без использования личных данных
Анализ того, как именно пользователи используют LLM – для компаний настоящий кладезь. Ведь это ключ с понимаю того, как улучшить свою систему. Но как анализировать диалоги так, чтобы данные пользователя при этом были защищены от чужих глаз? Очень просто: пусть вместо аналитика тоже будет ИИ.
Система Anthropic – Clio – работает в несколько этапов. Сначала из диалогов извлекаются фичи: эмбеддинги, язык, длина, тема, главная задача и тд. Затем на основе этих признаков модель кластеризует диалоги с помощью обычного K-Means и делит их иерархически. Получается такое дерево кластеров, в котором можно гулять по ветвям, анализируя темы разных уровней. Система позволяет анализировать тренды, отслеживать удовлетворенность пользователей, их настоение в общении с ИИ и, самое крутое – джейлбрейки (это же какое счастье для выстраивания alignment'а и безопасности!)
При этом никакие данные все еще не попадают в руки людей – весь пайплайн автоматизирован. Только после того, как Clio тщательно фильтрует все персональные данные и удаляет редкие кейсы, мы наконец можем взглянуть на аггрегацию.
На скрине наверху – самые частые сценария использования Claude. Обратите внимание, что это первое в истории исследование такого рода (по крайней мере, результаты которого были опубликованы): чтобы мы увидели эти числа, Clio обработала более 1 миллиона случайных диалогов.
Кстати, исследователи отмечают, что кроме того, что перечисленно на графике, они нашли еще несколько внезапных, но очень популярных кейсов использования чат-бота. Среди них анализ футбольных матчей, толкование снов, написание сценариев для Dungeons & Dragons и... подсчет букв r в слове strawberry😀
А еще оказалось, что юзеры разных стран по-разному используют ИИ. Например, испанцы часто спрашивают про экономику и здоровье, японцам подавай мангу, а китайцам – написанные ИИ детективы и триллеры.
Очень круто, в общем. Подробнее можно почитать здесь
Анализ того, как именно пользователи используют LLM – для компаний настоящий кладезь. Ведь это ключ с понимаю того, как улучшить свою систему. Но как анализировать диалоги так, чтобы данные пользователя при этом были защищены от чужих глаз? Очень просто: пусть вместо аналитика тоже будет ИИ.
Система Anthropic – Clio – работает в несколько этапов. Сначала из диалогов извлекаются фичи: эмбеддинги, язык, длина, тема, главная задача и тд. Затем на основе этих признаков модель кластеризует диалоги с помощью обычного K-Means и делит их иерархически. Получается такое дерево кластеров, в котором можно гулять по ветвям, анализируя темы разных уровней. Система позволяет анализировать тренды, отслеживать удовлетворенность пользователей, их настоение в общении с ИИ и, самое крутое – джейлбрейки (это же какое счастье для выстраивания alignment'а и безопасности!)
При этом никакие данные все еще не попадают в руки людей – весь пайплайн автоматизирован. Только после того, как Clio тщательно фильтрует все персональные данные и удаляет редкие кейсы, мы наконец можем взглянуть на аггрегацию.
На скрине наверху – самые частые сценария использования Claude. Обратите внимание, что это первое в истории исследование такого рода (по крайней мере, результаты которого были опубликованы): чтобы мы увидели эти числа, Clio обработала более 1 миллиона случайных диалогов.
Кстати, исследователи отмечают, что кроме того, что перечисленно на графике, они нашли еще несколько внезапных, но очень популярных кейсов использования чат-бота. Среди них анализ футбольных матчей, толкование снов, написание сценариев для Dungeons & Dragons и... подсчет букв r в слове strawberry
А еще оказалось, что юзеры разных стран по-разному используют ИИ. Например, испанцы часто спрашивают про экономику и здоровье, японцам подавай мангу, а китайцам – написанные ИИ детективы и триллеры.
Очень круто, в общем. Подробнее можно почитать здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥45👍13❤9🍓3
7 день стримов OpenAI из 12: сегодня показали проекты в ChatGPT
Это могут быть просто папки для группировки диалогов или полноценные рабочие директории, которые содержат разные чаты для разных задач в одном и том же проекте. Туда можно добавлять файлы, которые будут в контексте бота во всех новых диалогах и общие инструкции для проекта.
То есть, начиная новый диалог, основную задачу повторять не надо: ChatGPT уже знает, над чем вы работаете в этой папке. В проект можно добавлять уже существующие диалоги или создавать новые внутри.
Небольшая, но оочень приятная фича
Это могут быть просто папки для группировки диалогов или полноценные рабочие директории, которые содержат разные чаты для разных задач в одном и том же проекте. Туда можно добавлять файлы, которые будут в контексте бота во всех новых диалогах и общие инструкции для проекта.
То есть, начиная новый диалог, основную задачу повторять не надо: ChatGPT уже знает, над чем вы работаете в этой папке. В проект можно добавлять уже существующие диалоги или создавать новые внутри.
Небольшая, но оочень приятная фича
👍91❤16🤔8👻3🔥2
Илья Суцкевер вчера выступил с интереснейшей лекцией про скейлинг моделей на NeurlPS 2024
Он пояснил, что масштабирование на данных в претрейне действительно заканчивается, новые или синтетические данные не меняют ситуацию. Илья сравнил данные с ископаемым топливом: мы использовали его, чтобы «завести» ИИ и поставить его на рельсы, но теперь пора переключиться на другие инструменты.
Это как с человеческим мозгом: в какой-то момент эволюции он перестал расти в размерах, но человечество все равно становится умнее с каждым годом за счет новых навыков.
Так, будущее ИИ, как говорит Илья, за агентами, пониманием целей и самосознанием в моделях. При этом к появлению самосознания может привести ризонинг, но, как отметил ученый, в перспективе это очень непредсказуемая вещь ( «также, как действия AlphaZero непредсказуемы даже для чемпионов мира по шахматам»).
«Сверхразум в любом случае будет обладать радикально другими качествами и свойствами, по сравнению с сегодняшними моделями» – сказал Илья.
Лекцию полностью залили сюда
Он пояснил, что масштабирование на данных в претрейне действительно заканчивается, новые или синтетические данные не меняют ситуацию. Илья сравнил данные с ископаемым топливом: мы использовали его, чтобы «завести» ИИ и поставить его на рельсы, но теперь пора переключиться на другие инструменты.
Это как с человеческим мозгом: в какой-то момент эволюции он перестал расти в размерах, но человечество все равно становится умнее с каждым годом за счет новых навыков.
Так, будущее ИИ, как говорит Илья, за агентами, пониманием целей и самосознанием в моделях. При этом к появлению самосознания может привести ризонинг, но, как отметил ученый, в перспективе это очень непредсказуемая вещь ( «также, как действия AlphaZero непредсказуемы даже для чемпионов мира по шахматам»).
«Сверхразум в любом случае будет обладать радикально другими качествами и свойствами, по сравнению с сегодняшними моделями» – сказал Илья.
Лекцию полностью залили сюда
👍91❤16🔥12😁5