Кажется, скоро нас ждет еще один ИИ-подарок – на этот раз от Илона Маска
Сегодня в Твиттере он сообщил, что предобучение Grok-3 закончилось, и скоро модель увидит свет. Для претрейна, кстати, стартап использовал в 10 раз (!) больше компьюта, чем потребовалось для Grok-2.
Учитывая, какой был скачок у Grok-2 относительно Grok-1, Grok-3 ждем с нетерпением
Сегодня в Твиттере он сообщил, что предобучение Grok-3 закончилось, и скоро модель увидит свет. Для претрейна, кстати, стартап использовал в 10 раз (!) больше компьюта, чем потребовалось для Grok-2.
Учитывая, какой был скачок у Grok-2 относительно Grok-1, Grok-3 ждем с нетерпением
❤69🔥34👍18👏6🤨5🐳2
This media is not supported in your browser
VIEW IN TELEGRAM
В Meta уже оправились от новогодних праздников и выкатили свежее исследование про memory layers
Это архитектурный хак, который может сделать языковые модели умнее и при этом легче в плане вычислительных ресурсов. Эта идея не нова, но раньше такие архитектуры довольно скверно масштабировались и существовали на уровне игрушечных примеров — теперь же Meta довела их до левела взрослых моделей с миллиардами параметров.
Основная идея состоит в том, чтобы заменить часть плотных feed-forward слоев в трансформерах на memory layers — слои, которые работают по принципу key-value lookup. Feed-forward слои в трансформерах, которые обрабатывают входные данные, обычно супер прожорливые. Memory layers, напротив, используют sparse-активации. Они хранят отдельные ассоциации (например, факты) и извлекают их только тогда, когда это действительно нужно, тем самым экономя вычислительную мощность.
В экспериментах memory layers превзошли dense-модели, которые используют в 4 раза больше FLOPs, и даже обошли MoE. Особенно крутые результаты получили на задачах фактологического QA вроде TriviaQA и NaturalQuestions, где точность улучшилась аж на 100% по сравнению с базовыми моделями.
Многообещающе, в общем. Правда, такое пока сложно внедрять в прод, но если Meta доведет это до production-ready уровня, то это будет следующий шаг для идеального трейдоффа качество-ресурсы.
Код тут: GitHub Meta FAIR.
Это архитектурный хак, который может сделать языковые модели умнее и при этом легче в плане вычислительных ресурсов. Эта идея не нова, но раньше такие архитектуры довольно скверно масштабировались и существовали на уровне игрушечных примеров — теперь же Meta довела их до левела взрослых моделей с миллиардами параметров.
Основная идея состоит в том, чтобы заменить часть плотных feed-forward слоев в трансформерах на memory layers — слои, которые работают по принципу key-value lookup. Feed-forward слои в трансформерах, которые обрабатывают входные данные, обычно супер прожорливые. Memory layers, напротив, используют sparse-активации. Они хранят отдельные ассоциации (например, факты) и извлекают их только тогда, когда это действительно нужно, тем самым экономя вычислительную мощность.
В экспериментах memory layers превзошли dense-модели, которые используют в 4 раза больше FLOPs, и даже обошли MoE. Особенно крутые результаты получили на задачах фактологического QA вроде TriviaQA и NaturalQuestions, где точность улучшилась аж на 100% по сравнению с базовыми моделями.
Многообещающе, в общем. Правда, такое пока сложно внедрять в прод, но если Meta доведет это до production-ready уровня, то это будет следующий шаг для идеального трейдоффа качество-ресурсы.
Код тут: GitHub Meta FAIR.
❤60🔥21👍16❤🔥4🎅4
Пошли какие-то недвусмысленные намеки от OpenAI
Вчерашний твит ресерчера оттуда, который, кстати, занимается агентами:
И сразу за этим, твит Альтмана:
🧐
Вчерашний твит ресерчера оттуда, который, кстати, занимается агентами:
Я скучаю по временам, когда мы занимались ИИ-исследованиями, не зная, как достичь суперинтеллекта.
И сразу за этим, твит Альтмана:
Всегда хотел написать историю из шести слов. Вот она: «Сингулярность рядом: непонятно, с какой мы стороны».
(Предполагается, что это либо 1. Мы в гипотезе моделирования, либо 2. Мы не можем узнать, когда на самом деле наступит критический момент при взлете, но мне нравится, что это работает и во многих других отношениях)
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤61😁24👍18🔥3
Альтман подтвердил, что OpenAI теперь точно знает, как достигнуть AGI и уже готовится к созданию ASI
В честь Нового Года он выложил в своем блоге новый пост под названием Reflections. Там (в который раз) Сэм рассказывает историю успеха OpenAI. Он говорит, что в 2022 компания была незаметной лабораторией, и к их вере в то, что AGI достижим, относились скептично.
Поэтому они придумали концепт ChatGPT. Интересный факт: ChatGPT вообще планировался, как маленький эксперимент и демо возможностей ИИ для сообщества, а никак не полноценный основной продукт. Тем не менее, именно ChatGPT стал супер-мощным катализатором и благодаря ему стартап добился того, чего добился. Этого никто не ожидал.
«Эти два года были самыми захватывающими в моей карьере» – говорит Альтман (и после трогательно рассказывает про увольнение, возвращение, ошибки и тд)
Короче, теперь OpenAI точно знает, как достигнуть AGI и в этом году мы уже увидим полноценных ИИ-агентов, которые смогут работать на реальный бизнес. Следующий шаг для компании – ASI. Это звучит как фантастика, «но нам не впервой» – написано в блоге.
В общем, интересный сторителлинг, прочитать полностью можно тут
В честь Нового Года он выложил в своем блоге новый пост под названием Reflections. Там (в который раз) Сэм рассказывает историю успеха OpenAI. Он говорит, что в 2022 компания была незаметной лабораторией, и к их вере в то, что AGI достижим, относились скептично.
Поэтому они придумали концепт ChatGPT. Интересный факт: ChatGPT вообще планировался, как маленький эксперимент и демо возможностей ИИ для сообщества, а никак не полноценный основной продукт. Тем не менее, именно ChatGPT стал супер-мощным катализатором и благодаря ему стартап добился того, чего добился. Этого никто не ожидал.
«Эти два года были самыми захватывающими в моей карьере» – говорит Альтман (и после трогательно рассказывает про увольнение, возвращение, ошибки и тд)
Короче, теперь OpenAI точно знает, как достигнуть AGI и в этом году мы уже увидим полноценных ИИ-агентов, которые смогут работать на реальный бизнес. Следующий шаг для компании – ASI. Это звучит как фантастика, «но нам не впервой» – написано в блоге.
В общем, интересный сторителлинг, прочитать полностью можно тут
🔥86👍27🗿25😁14❤7🐳2
Сегодня прошел первый день CES – самой крупной техно-выставки в мире. Nvidia залетела на нее сразу с несколькими крутыми релизами:
➖ Во-первых, новое поколение видеокарт RTX, 50 серия. Самая мощная из них – RTX 5090 – будет стоить $2000. В ней 4000 AI TOPS, 380 ray-tracing TFLOPS, пропускная способность 1,8 ТБ/с (вау!). Еще в продаже будут RTX 5070 ($549), RTX 5070 Ti ($749) и RTX 5080 ($999).
➖ Следующая, пожалуй самая крутая новинка – DIGITS. Это ИИ-суперкомпьютер у вас дома за 3 тысячи долларов. Представляет из себя небольшую коробочку, но внутри аж 128Gb оперативки. Комп тащит 1 петафлопс операций в секунду, это примерно в 1000 раз быстрее среднего ноута. На одном таком чемоданчике можно запустить LLM весом до 200B параметров. То есть имея две таких, можно запустить локально почти любую из существующих моделек.
➖ Cosmos – моделирование физического мира с помощью ИИ, аналог недавно прогремевшей Genesis (пост). Нужна для обучения роботов и беспилотных автомобилей, в партнерах уже числится Uber и Toyota.
Как-то так. Кстати, цитата Хуанга с его выступления: «ChatGPT moment для робототехники наступит скорее, чем вы думаете»🤖
Как-то так. Кстати, цитата Хуанга с его выступления: «ChatGPT moment для робототехники наступит скорее, чем вы думаете»
Please open Telegram to view this post
VIEW IN TELEGRAM
🫡68👍36❤17👾8🔥7🕊3
Виталик Бутерин предлагает ввести «глобальную кнопку паузы ИИ»
В случае появления ASI эта кнопка сократит AI-компьют на 90-99% на два года. По мнению создателя эфира, это даст человечеству шанс подготовиться к «экзистенциальной гибели».
Идея, кстати, не нова. В один из таких проектов уже даже можно донатить
В случае появления ASI эта кнопка сократит AI-компьют на 90-99% на два года. По мнению создателя эфира, это даст человечеству шанс подготовиться к «экзистенциальной гибели».
Идея, кстати, не нова. В один из таких проектов уже даже можно донатить
😁146🫡23🤪14🔥11🦄8👍6🤔5🗿4🤨3❤2☃1
Автономный компьютерный агент от OpenAI может выйти уже в этом месяце
Об этом пишет The Information. От инсайдеров журналисты узнали, что стартап якобы уже давно готов к релизу, но позволяет конкурентов обогнать себя из-за страха prompt injection атак. Так что пока Anthropic и Google уже вовсю тестируют свои системы в проде, OpenAI там занимается безопасностью (удивительно!)
Что такое prompt injection? Вкратце, это когда вредоносные сайты крадут ваши данные через агента. При этом вы, как пользователь, ни о чем не подозреваете, потому что у вас нет контроля за тем, какие данные с сайтов или вашего пк поглощает моделька.
Тем не менее, кажется, проблему уже почти победили, потому что по словам того же инсайдера катить агента собираются уже в январе. Ставим ставки, сколько будет стоить подписка с ним?🤑
Об этом пишет The Information. От инсайдеров журналисты узнали, что стартап якобы уже давно готов к релизу, но позволяет конкурентов обогнать себя из-за страха prompt injection атак. Так что пока Anthropic и Google уже вовсю тестируют свои системы в проде, OpenAI там занимается безопасностью (удивительно!)
Что такое prompt injection? Вкратце, это когда вредоносные сайты крадут ваши данные через агента. При этом вы, как пользователь, ни о чем не подозреваете, потому что у вас нет контроля за тем, какие данные с сайтов или вашего пк поглощает моделька.
Тем не менее, кажется, проблему уже почти победили, потому что по словам того же инсайдера катить агента собираются уже в январе. Ставим ставки, сколько будет стоить подписка с ним?
Please open Telegram to view this post
VIEW IN TELEGRAM
👍62🔥15🤪9❤6😁3👌1🍾1🗿1
Зацените, на что мы случайно наткнулись на гитхабе: мемориальная доска бенчмарков "Killed by LLM"
Проект создан пару недель назад неким Робом Копелем и представляет из себя кладбище бенчмарков, которые были пройдены модельками. Бенчмарк считается убитым, если больше не способен служить индикатором передовых достижений. То есть, даже если эти тесты остаются важными и значимыми, высокий скор какой-то новой модели на них больше не означает, что мы вышли на новый уровень возможностей ИИ.
Среди погибших в этом году числятся ARC-AGI, MATH, Human Eval и др. Вот, что пишет автор в ридми:
Вот он, идеальный новогодний пет-проект. Следим за тем, как мемориал будет расти в 2025:
r0bk.github.io/killedbyllm/
Проект создан пару недель назад неким Робом Копелем и представляет из себя кладбище бенчмарков, которые были пройдены модельками. Бенчмарк считается убитым, если больше не способен служить индикатором передовых достижений. То есть, даже если эти тесты остаются важными и значимыми, высокий скор какой-то новой модели на них больше не означает, что мы вышли на новый уровень возможностей ИИ.
Среди погибших в этом году числятся ARC-AGI, MATH, Human Eval и др. Вот, что пишет автор в ридми:
Этот проект создан, чтобы немного развлечь нас и напомнить о впечатляющем прогрессе, которого мы достигли — большей части из этого я даже не надеялся увидеть при своей жизни.
Вот он, идеальный новогодний пет-проект. Следим за тем, как мемориал будет расти в 2025:
r0bk.github.io/killedbyllm/
❤115🔥34👍22❤🔥3👻3🙈1
Google DeepMind, видимо, планируют искать свои собственные пути скейлить модельки
Мы заметили, что буквально на днях они открыли две интересные вакансии: Research Engineer, World Modeling и Research Scientist, World Modeling. Но это необычный WM: в обеих вакансиях написано, что основным направлением работы будет исследование скейлинга в претрейне на новых модальностях, в частности на видео.
В целом, что-то такое ожидалось, когда Google недавно выпустили Veo. В вакансиях так, кстати, и написано: "Команда будет сотрудничать с командами Gemini, Veo и Genie и развивать их работу".
Нанимает в эту команду, к слову, бывший лид команды SORA в OpenAI, Тим Брукс. Он ушел из стартапа в октябре, и уже успел приложить руку к Veo. А теперь, видимо, Veo послужит мощным источником синтетики.
Кто знает, может DeepMind и найдет в этом золотую жилу скейлинга. В любом случай, ждем от них крутых релизов в этом году
Мы заметили, что буквально на днях они открыли две интересные вакансии: Research Engineer, World Modeling и Research Scientist, World Modeling. Но это необычный WM: в обеих вакансиях написано, что основным направлением работы будет исследование скейлинга в претрейне на новых модальностях, в частности на видео.
В целом, что-то такое ожидалось, когда Google недавно выпустили Veo. В вакансиях так, кстати, и написано: "Команда будет сотрудничать с командами Gemini, Veo и Genie и развивать их работу".
Нанимает в эту команду, к слову, бывший лид команды SORA в OpenAI, Тим Брукс. Он ушел из стартапа в октябре, и уже успел приложить руку к Veo. А теперь, видимо, Veo послужит мощным источником синтетики.
Кто знает, может DeepMind и найдет в этом золотую жилу скейлинга. В любом случай, ждем от них крутых релизов в этом году
👍56🔥21❤9🫡1
Media is too big
VIEW IN TELEGRAM
На YouTube канале Anthropic ночью вышло новое интересное видео про alignment
Присутствовали четверо разработчиков команды элаймента, среди которых был знаменитый Ян Лейке, ушедший из OpenAI вместе с Суцкевером. Видео длится всего 28 минут, посмотреть полностью советуем здесь, а вот основные и самые интересные тейки:
🟦 Главная проблема элаймента сегодня – масштабирование. Текущие подходы вроде RLHF и constitutional AI работают для относительно "предсказумых" задач. Но что произойдет, когда модели начнут решать задачи, которые люди не могут проконтролировать напрямую (например, разработка новых белков в биоресерсе)? Такой элаймент пока остается открытым вопросом.
🟦 Ризонинг – это еще один челлендж. Сейчас цепочки размышлений моделей понятны и их можно анализировать, потому что модели думают на английском. Но в будущем это изменится, и проверять CoT станет сложнее.
🟦 Поэтому два главных и самых перспективных направления ресерча сейчас – это интерпретация фичей (см. пост про исследования стартапа на эту тему №1, №2, №3) и супер-alignment, то есть элаймент сложных автономных систем, которые могут принимать долгосрочные решения. Интерпретация нужна, чтобы контролировать, не врет ли нам модель, не примеряет ли маску послушного гражданина, просто чтобы пройти проверку. А супер-элаймент – это будущее.
🟦 Лейке предполагает, что самым вероятным решением для супер-элаймента является делегирование элаймента другим ИИ-моделям, то есть его полная автоматизация. Сейчас исследователи уже пробуют элайнить маленькие модели и заставлять их выравнивать более мощные, но главный вопрос: как быть уверенными, что модель, которой мы доверяем, не саботирует процесс? – все еще открыт.
🟦 Для решения этого вопроса, в частности, в Anthropic недавно появились целые команды, одни из которых занимаются анти-элайментом, то есть создают моделей-злюк, а другие берут эти модели и пытаются научиться их "понимать", определять источник проблемы и исправлять ее. Это называется red-blue team.
Еще раз ссылка на полное видео: www.youtube.com/watch?v=IPmt8b-qLgk
Присутствовали четверо разработчиков команды элаймента, среди которых был знаменитый Ян Лейке, ушедший из OpenAI вместе с Суцкевером. Видео длится всего 28 минут, посмотреть полностью советуем здесь, а вот основные и самые интересные тейки:
Еще раз ссылка на полное видео: www.youtube.com/watch?v=IPmt8b-qLgk
Please open Telegram to view this post
VIEW IN TELEGRAM
👍63❤23🔥21🤯4😁3
В топ-1 Paper of the day на Hugging Face сегодня невероятная статья от Microsoft, в которой они показывают, как научили крошечную модельку математическому ризонингу на уровне o1
Статья называется rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking и в ней на практике доказано, что маленькие модельки даже без дистилляции могут ризонить и решать мат. задачи на уровне передовых моделей от того же OpenAI. Все происходит только за счет хитрого инференса. Подробнее⬇️
Ключевая идея rStar – уже знакомый нам по многим статьям метод Monte Carlo Tree Search, который выполняет поиск по дереву решений. К слову, у самих HF недавно выходил блогпост-исследование с примерно таким же алгоритмом для ризонинга (вот наш разбор), а еще Alibaba делали подобное (разбор). Короче, идея не новая, даже в AlphaGo и AlphaZero уже был поиск по дереву, но что сделали Microsoft? Они ввели три дополнительных фишки:
🔷 Code-augmented CoT. Вместо исполользования классического Chain-of-Thought (CoT), который часто ошибается в промежуточных шагах, они дополнили его генерацией кода на питоне. Каждый шаг проверяется имплементацией — если что-то ломается, такую ветку просто отбрасывают.
🔷 Process Preference Model (PPM). Вместо громоздкой скучной ручной аннотации данных здесь используется Q-values из поиска по дереву для создания пар предпочтений. Получается попарная оценка ответов с стиле "этот лучше чем этот", а затем PPM оптимизируют через pairwise ranking лосс.
🔷 Self-evolution. Это итеративный процесс, в котором модель обучается на данных, которые она сама же и генерирует. Обратите внимание, что никакая сторонняя модель тут не используется, все на своем топливе. Просто на каждом шаге хорошие ризонинг-траектории попадают в дату, которая используется в следующем цикле. И нет, это не вырождается.
Результаты получили ну очень крутые: на 8 траекториях для поиска rStar-Math улучшила Qwen2.5-Math-7B на бенче MATH с 58.8% до 89.4%, а на 64 — до 90% (это лучше, чем o1-preview на +4.5%). На AIME 2024 в итоге получилось достичь 53.3% (больше, чем o1-preview на +8.7%). Все это, еще раз, на крошке 7B!
Полностью статья лежит тут, код и данные скоро обещают открыть🍜
Статья называется rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking и в ней на практике доказано, что маленькие модельки даже без дистилляции могут ризонить и решать мат. задачи на уровне передовых моделей от того же OpenAI. Все происходит только за счет хитрого инференса. Подробнее
Ключевая идея rStar – уже знакомый нам по многим статьям метод Monte Carlo Tree Search, который выполняет поиск по дереву решений. К слову, у самих HF недавно выходил блогпост-исследование с примерно таким же алгоритмом для ризонинга (вот наш разбор), а еще Alibaba делали подобное (разбор). Короче, идея не новая, даже в AlphaGo и AlphaZero уже был поиск по дереву, но что сделали Microsoft? Они ввели три дополнительных фишки:
Результаты получили ну очень крутые: на 8 траекториях для поиска rStar-Math улучшила Qwen2.5-Math-7B на бенче MATH с 58.8% до 89.4%, а на 64 — до 90% (это лучше, чем o1-preview на +4.5%). На AIME 2024 в итоге получилось достичь 53.3% (больше, чем o1-preview на +8.7%). Все это, еще раз, на крошке 7B!
Полностью статья лежит тут, код и данные скоро обещают открыть
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥143👍36❤23👀2
137Столько раз на презентации Nvidia на международной выставке CES было произнесено AI. Это примерно раз в 40 секунд
AMD тоже поднапряглись: говорили AI раз в 30 секунд.
Только Intel отстали от тренда. Не дело
Please open Telegram to view this post
VIEW IN TELEGRAM
😁125🔥11👍10🤪3🤨2❤1
Data Secrets
137 Столько раз на презентации Nvidia на международной выставке CES было произнесено AI. Это примерно раз в 40 секунд 👥 AMD тоже поднапряглись: говорили AI раз в 30 секунд. Только Intel отстали от тренда. Не дело
This media is not supported in your browser
VIEW IN TELEGRAM
Инвесторы дуреют с этой прикормки
😁244👏16👍13❤2😍1
Общий объем компьюта, который используется для обучения моделек, увеличился с 2018 года в 10 000 раз 😲
Такими числами в своем новом исследовании нас радуют известные EpochAI. Они установили, что за последние 6 лет объем вычислений рос каждый год в четыре раза.
При этом быстрее всего разрастался размер кластеров (то есть непосредственно количество железа для обучения) – примерно в 1,7 раза в год (40% общего роста).
На втором месте – время обучения. Оно тоже увеличивалось стремительно: в 1,5 раза каждый год. И, конечно, помимо прочего, за шесть лет наши чипы стали сильно лучше: количество FLOP/s, достижимое на обучающем оборудовании, выросло в 8 раз с 2018 года.
Отчет целиком здесь
Такими числами в своем новом исследовании нас радуют известные EpochAI. Они установили, что за последние 6 лет объем вычислений рос каждый год в четыре раза.
При этом быстрее всего разрастался размер кластеров (то есть непосредственно количество железа для обучения) – примерно в 1,7 раза в год (40% общего роста).
На втором месте – время обучения. Оно тоже увеличивалось стремительно: в 1,5 раза каждый год. И, конечно, помимо прочего, за шесть лет наши чипы стали сильно лучше: количество FLOP/s, достижимое на обучающем оборудовании, выросло в 8 раз с 2018 года.
Отчет целиком здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52❤12