Всех причастных с Днем Математика!
Пусть ваш градиент всегда указывает в сторону глобального минимума, сингулярности исчезают под натиском регуляризаций, а все модели сходятся быстрее, чем вы успеете сказать «градиентный спуск»🤓
Пусть ваш градиент всегда указывает в сторону глобального минимума, сингулярности исчезают под натиском регуляризаций, а все модели сходятся быстрее, чем вы успеете сказать «градиентный спуск»
Please open Telegram to view this post
VIEW IN TELEGRAM
❤211🍾43🎉21👍8❤🔥5😁3🫡3🗿2
В честь Дня Математика - математический кроссворд выходного дня. Предупреждаем: он не самый простой 🎩
По горизонтали:
1. Чем выше его значение, тем сильнее пики, чем ниже — тем более плоское распределение.
3. Основной инструмент для обучения моделей через минимизацию функции потерь.
6. В градиентных методах это используется для учета инерции обновления весов.
8. Его работы легли в основу теории цепей, где будущее состояние системы зависит только от текущего.
9. Его вершины — это потенциальные кандидаты на оптимум.
10. Если он равен нулю, строки или столбцы матрицы линейно зависимы.
13. Функция расстояния между распределениями, используемая, например, в байесовском обучении.
14. Самый замечательный термин математики.
По вертикали:
2. Классический пример применения его теоремы — фильтр для определения спама в письмах.
4. Свойство чисел, позволяющее определить равенство остатков при делении. Часто встречается в криптографии и при хэшировании данных.
5. Статистический метод, при котором из одной выборки многократно создаются новые с помощью случайного выбора с возвращением.
7. Мера неопределенности или хаотичности системы.
11. Операция отображения многомерных данных на пространство меньшей размерности. Часто применяется в t-SNE и PCA для визуализации.
12. Он бывает Белла, Жегалкина и даже Лежандра.
15. Без нее градиентный спуск невозможен.
Присылайте догадки в комментарии, только закрывайте спойлерами🤫
По горизонтали:
1. Чем выше его значение, тем сильнее пики, чем ниже — тем более плоское распределение.
3. Основной инструмент для обучения моделей через минимизацию функции потерь.
6. В градиентных методах это используется для учета инерции обновления весов.
8. Его работы легли в основу теории цепей, где будущее состояние системы зависит только от текущего.
9. Его вершины — это потенциальные кандидаты на оптимум.
10. Если он равен нулю, строки или столбцы матрицы линейно зависимы.
13. Функция расстояния между распределениями, используемая, например, в байесовском обучении.
14. Самый замечательный термин математики.
По вертикали:
2. Классический пример применения его теоремы — фильтр для определения спама в письмах.
4. Свойство чисел, позволяющее определить равенство остатков при делении. Часто встречается в криптографии и при хэшировании данных.
5. Статистический метод, при котором из одной выборки многократно создаются новые с помощью случайного выбора с возвращением.
7. Мера неопределенности или хаотичности системы.
11. Операция отображения многомерных данных на пространство меньшей размерности. Часто применяется в t-SNE и PCA для визуализации.
12. Он бывает Белла, Жегалкина и даже Лежандра.
15. Без нее градиентный спуск невозможен.
Присылайте догадки в комментарии, только закрывайте спойлерами
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33👍16❤11😁4
DeepMind на выходных завезли «свою версию» ризонинг-обучения в языковых моделях
Наверное, многие из нас слышали про метод, когда учитель не дает правильных ответов, а вместо этого задает наводящие вопросы, и истина рождается в течение диалога в ответах ученика сама. Это метод Сократа, который и взяли за основу ученые из DeepMind.
Их статья называется Boundless Socratic Learning with Language Games. Основная ее идея – замена внешнего учителя на внутреннее взаимодействие агентов, которые могут посредством сократовской «игры» совершенствовать друг друга. Так можно достигать гораздо большей генерализации данных + агенты учатся автономно. Все, что надо – это гигантские вычислительные ресурсы, широкое покрытие датасетом доменов и хорошая ревард-модель.
Кстати, ревард модель тут не та самая привычная из RL: здесь вводится главный критик в роли одного из агентов, но также добавляется прокси-ревард моделька, которая дополнительно награждает ученика, а иногда и критика, если ему требуется тюнинг.
В статье, к сожалению, излагается только теория. Результатов экспериментов пока не видно, но идея стоящая, поэтому будем ждать
Наверное, многие из нас слышали про метод, когда учитель не дает правильных ответов, а вместо этого задает наводящие вопросы, и истина рождается в течение диалога в ответах ученика сама. Это метод Сократа, который и взяли за основу ученые из DeepMind.
Их статья называется Boundless Socratic Learning with Language Games. Основная ее идея – замена внешнего учителя на внутреннее взаимодействие агентов, которые могут посредством сократовской «игры» совершенствовать друг друга. Так можно достигать гораздо большей генерализации данных + агенты учатся автономно. Все, что надо – это гигантские вычислительные ресурсы, широкое покрытие датасетом доменов и хорошая ревард-модель.
Кстати, ревард модель тут не та самая привычная из RL: здесь вводится главный критик в роли одного из агентов, но также добавляется прокси-ревард моделька, которая дополнительно награждает ученика, а иногда и критика, если ему требуется тюнинг.
В статье, к сожалению, излагается только теория. Результатов экспериментов пока не видно, но идея стоящая, поэтому будем ждать
❤56👍24🔥13🤯4😎2
В последнем подкасте Hard Fork от New York Times внезапно выяснилось, что трансформеры вдохновлены фильмом «Прибытие» 2016 года про вторжение инопланетян
Забавно также, что язык инопланетян из этого фильма был вдохновлен языком программирования Wolfram, создатель которого в последствие был в таком восторге от трансформеров, что написал об этом книгу.
Круг замкнулся
Я мог бы целый час говорить о трансформерах и о том, почему они так важны. Но я думаю, важно сказать, что они были вдохновлены языком пришельцев из фильма «Прибытие», который тогда только что вышел. В частности, один из исследователей команды Google заметил, что у пришельцев в фильме был язык, который представлял целые предложения одним символом. И они подумали: эй, а что, если мы сделаем это внутри нейронной сети? И затем вместо того, чтобы обрабатывать все входные данные по одному слову за раз, был придуман механизм внимания, который обращал внимание на все слова одновременно.
Забавно также, что язык инопланетян из этого фильма был вдохновлен языком программирования Wolfram, создатель которого в последствие был в таком восторге от трансформеров, что написал об этом книгу.
Круг замкнулся
❤114🔥36😁14👍11🤯3🤨2🙈2🗿2❤🔥1🍌1
This media is not supported in your browser
VIEW IN TELEGRAM
Начался декабрь. Какие подарочки на Новый Год мы ждем от индустрии?
⚪️ Gemini 2. Уже несколько раз разные издания сообщали о том, что модель готовят к запуску в начале декабря, а вчера модель заметили в личных кабинетах некоторых пользователей Gemini. Первая версия была выпущена, кстати, ровно год назад.
Про Gemini 2, как и про следующую модель OpenAI, ходят слухи: якобы она не показывает значительного прироста качества и перестала масштабироваться. Однако пару дней назад на Арене появились тестовые модели Gremlin и Goblin (под которыми, кажется, и скрываются новые релизы Google) и пользователи пишут, что модели очень хороши в кодинге.
⚪️ Grok 3. О том, что модель релизнут в декабре, говорил сам Маск. Уже в августе он заявлял, что Grok 3 станет самым мощным ИИ в мире и будет обучен на самом огромном из существующих кластеров. Что ж, со сроками у Илона всегда были проблемы, но будем ждать.
⚪️ Проект Operator от OpenAI и полная версия o1. Последнее ждем уже давно, а Operator должен стать новинкой-сюрпризом. Напоминаем, что это это ИИ-агент для автономного управления компьютером.
Изначально релиз готовился на январь, но… на День Рождения ChatGPT мы никаких громких релизов не увидели, и, кроме того, если конкуренты действительно дропнут мощные новинки, OpenAI вряд ли станет долго держать туза в рукаве. Еще есть слабая надежда на SORA, но здесь все неоднозначно.
В общем, Happy December🎩
Про Gemini 2, как и про следующую модель OpenAI, ходят слухи: якобы она не показывает значительного прироста качества и перестала масштабироваться. Однако пару дней назад на Арене появились тестовые модели Gremlin и Goblin (под которыми, кажется, и скрываются новые релизы Google) и пользователи пишут, что модели очень хороши в кодинге.
Изначально релиз готовился на январь, но… на День Рождения ChatGPT мы никаких громких релизов не увидели, и, кроме того, если конкуренты действительно дропнут мощные новинки, OpenAI вряд ли станет долго держать туза в рукаве. Еще есть слабая надежда на SORA, но здесь все неоднозначно.
В общем, Happy December
Please open Telegram to view this post
VIEW IN TELEGRAM
🎅50🔥10🎄6👍2🤔1
Вчера стартовал известный челлендж по программированию Advent of Code
Каждый день с 1 по 24 декабря в 8 утра по мск на сайте появляются две интересные задачки, и нужно решить их одну за одной. За правильные решения дают звездочки, а те, кто дал ответ быстрее всего, попадают в лидерборд. Поучаствовать можно вот здесь: adventofcode.com/
Так вот. Вчера мы заметили, что кто-то умудрился решить первые задачи за... 9 секунд. В ранние дни задачи действительно довольно простые, но при этом вам все равно нужно успеть прочитать задание, загрузить данные, написать и запустить код, а потом ввести ответ. Даже ИИ-агенты, вероятно, не успеют все это за такой промежуток времени.
Ваши предположения, как?
Каждый день с 1 по 24 декабря в 8 утра по мск на сайте появляются две интересные задачки, и нужно решить их одну за одной. За правильные решения дают звездочки, а те, кто дал ответ быстрее всего, попадают в лидерборд. Поучаствовать можно вот здесь: adventofcode.com/
Так вот. Вчера мы заметили, что кто-то умудрился решить первые задачи за... 9 секунд. В ранние дни задачи действительно довольно простые, но при этом вам все равно нужно успеть прочитать задание, загрузить данные, написать и запустить код, а потом ввести ответ. Даже ИИ-агенты, вероятно, не успеют все это за такой промежуток времени.
Ваши предположения, как?
🤔53🤯20👍7😁2❤1
За 128 лет вычисления усовершенствовались в 1,000,000,000,000,000,000,000 раз в пересчете на доллар
Здесь 21 ноль: это секстиллион. Такой показатель демонстрирует график, который изобразили в Future Ventures (они обновляют его каждый год уже 16 лет). Смотря на картинку, учтите, что шкала семи-логарифмическая, так что на самом деле прямая вовсе не прямая, а экспоненциально возрастает. Каждое деление оси Y == 100x.
Сделайте паузу, чтобы осознать это
Здесь 21 ноль: это секстиллион. Такой показатель демонстрирует график, который изобразили в Future Ventures (они обновляют его каждый год уже 16 лет). Смотря на картинку, учтите, что шкала семи-логарифмическая, так что на самом деле прямая вовсе не прямая, а экспоненциально возрастает. Каждое деление оси Y == 100x.
Сделайте паузу, чтобы осознать это
🤯95👍24👏10❤4🤝1
This media is not supported in your browser
VIEW IN TELEGRAM
Кстати про железо: нобелевский лауреат Джеффри Хинтон считает, что скоро ИИ начнут бороться друг с другом за GPU и победит самый агрессивный
"Мы перешли на темную сторону эволюции" – утверждает Хинтон. По его словам, после появления суперинтеллектов они начнут соревноваться за ресурсы, так как чтобы стать умнее, нужно много GPU. Все закончится тем, что победит самый жадный и агрессивный.
Как вам такой естественный отбор?
"Мы перешли на темную сторону эволюции" – утверждает Хинтон. По его словам, после появления суперинтеллектов они начнут соревноваться за ресурсы, так как чтобы стать умнее, нужно много GPU. Все закончится тем, что победит самый жадный и агрессивный.
Как вам такой естественный отбор?
😁113👍18🔥14🤯10🤔9🤪9🐳4🤨4❤1👏1😐1
Кто такой Дэвид Майер и почему ChatGPT его так боится?
На выходных в соцсетях завирусилась байка о том, что GPT отказывается отвечать на вопросы о неком Дэвиде Майере. Если попросить его сделать это, он мгновенно зависает, и как бы вы не старались джейлбрейкнуть его или схитрить, ничего не происходит.
Вообще, пользователи позже обнаружили, что Дэвид Майер – не единственное имя, которое вызывает такой ужас у чат-бота. В ступор его заводят также Брайан Худ, Джонатан Терли, Джонатан Зиттрейн, Дэвид Фабер, Гвидо Скорца и др. Кто все эти люди и почему GPT их так ненавидит?
Конечно, в сообществе сразу начали рождаться бесконечные теории заговора. Но реальная причина, скорее всего, состоит в том, что все эти личности так или иначе сами предпочли "быть забытыми". Смотрите:
➡️ Брайан Худ – человек, который пострадал от GPT в прошлом году. Бот ложно назвал его виновником преступления, совершенного десятилетия назад, о котором Худ на самом деле сообщил. Тогда его адвокаты связались с OpenAI, и хотя никакого иска так и не было подано, сообщили, что "оскорбительные материалы удалены".
➡️ Джонатан Терли – тоже жертва обстоятельств. Он известный юрист и комментатор Fox News, но в конце прошлого года к нему домой ворвалась полиция и его долго допрашивали по делу, которое затем оказалось сфабрикованным. Тогда его репутация сильно пострадала, и он пытался стереть из Интернета упоминания об инцеденте.
➡️ Гвидо Скорца входит в совет директоров итальянского Управления по защите данных.
➡️ Джонатан Зиттрейн тоже юрист, известный тем, что много говорит о праве быть забытым в Интернете.
Между этими людьми, скорее всего, есть связь. Они все – публичные личности, которые предпочли стереть информацию о себе сами. Но... кто такой Дэвид Майер? Нет ни одного политика, юриста, актера и пр. с таким именем. Но был профессор Дэвид Майер. Он не был публичным человеком, но (!) в конце жизни столкнулся с тем, что его имя использовал в поддельных документах один очень разыскиваемый преступник. Из-за этого Майеру даже на какое-то время запретили путешествовать, и он постоянно боролся за то, чтобы его имя было отделено от псевдонима террориста.
Итак, вывод: вероятно, у ChatGPT есть список имен, которые по юридическим, политическим или этическим причинам требуют особого отношения. Существует множество таких специальных правил, и они, конечно, редко публикуются. Вероятно, один из таких списков с именами был случайно поврежден неисправным кодом, в результате чего GPT и начал "падать на ровном месте".
В общем, теперь вы знаете правду, а вся эта драма — еще одно полезное напоминание о том, что модели это не только голые отфайнтюненные трансформеры, но и сверхнапичканные правилами и политиками компаний системы.
На выходных в соцсетях завирусилась байка о том, что GPT отказывается отвечать на вопросы о неком Дэвиде Майере. Если попросить его сделать это, он мгновенно зависает, и как бы вы не старались джейлбрейкнуть его или схитрить, ничего не происходит.
Вообще, пользователи позже обнаружили, что Дэвид Майер – не единственное имя, которое вызывает такой ужас у чат-бота. В ступор его заводят также Брайан Худ, Джонатан Терли, Джонатан Зиттрейн, Дэвид Фабер, Гвидо Скорца и др. Кто все эти люди и почему GPT их так ненавидит?
Конечно, в сообществе сразу начали рождаться бесконечные теории заговора. Но реальная причина, скорее всего, состоит в том, что все эти личности так или иначе сами предпочли "быть забытыми". Смотрите:
Между этими людьми, скорее всего, есть связь. Они все – публичные личности, которые предпочли стереть информацию о себе сами. Но... кто такой Дэвид Майер? Нет ни одного политика, юриста, актера и пр. с таким именем. Но был профессор Дэвид Майер. Он не был публичным человеком, но (!) в конце жизни столкнулся с тем, что его имя использовал в поддельных документах один очень разыскиваемый преступник. Из-за этого Майеру даже на какое-то время запретили путешествовать, и он постоянно боролся за то, чтобы его имя было отделено от псевдонима террориста.
Итак, вывод: вероятно, у ChatGPT есть список имен, которые по юридическим, политическим или этическим причинам требуют особого отношения. Существует множество таких специальных правил, и они, конечно, редко публикуются. Вероятно, один из таких списков с именами был случайно поврежден неисправным кодом, в результате чего GPT и начал "падать на ровном месте".
В общем, теперь вы знаете правду, а вся эта драма — еще одно полезное напоминание о том, что модели это не только голые отфайнтюненные трансформеры, но и сверхнапичканные правилами и политиками компаний системы.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍95🫡17❤14🤯11🔥2🌭2💯2👻1
В OpenAI, кажется, готовятся добавлять рекламу в ChatGPT
По словам издания Financial Times на это указывает подозрительное количество новых соответствующих вакансий, хантинг талантов в сфере рекламы из Google и Meta и последние интервью финансового директора. Кроме того, затраты организации растут, так что в новом году без дополнительной монетизации стартапу действительно будет тяжко.
В каком виде будет размещаться реклама – пока непонятно
По словам издания Financial Times на это указывает подозрительное количество новых соответствующих вакансий, хантинг талантов в сфере рекламы из Google и Meta и последние интервью финансового директора. Кроме того, затраты организации растут, так что в новом году без дополнительной монетизации стартапу действительно будет тяжко.
В каком виде будет размещаться реклама – пока непонятно
🤯57🗿25❤14👍9🙈6🌚5🫡4🔥1🤔1
В России появился первый онлайн-тренажер по математике в приложении Т-Банка “Число Т”. В нем собраны самые разные задачи, которые подбираются под каждого пользователя индивидуально: алгоритмы приложения анализируют его успеваемость и усложняют или упрощают задания. Также с помощью приложения можно повысить свою финансовую грамотность и даже начать осваивать IT-профессии. Задачи в приложении не повторяются, а игровая механика поддерживает интерес пользователей.
В Т-Банке отмечают, что любая инновация в современном цифровом мире всегда начинается с языка математики. Для того, чтобы поднять престиж и интерес к этой науке на новый уровень компания разработала ряд бесплатных инициатив, которые затем объединила в масштабный образовательный проект “Т=Математика”. “Число Т” позволяет детям в игровой форме узнавать новое, а взрослым –- поддерживать в тонусе работу мозга. В компании уверены, что интерес к математике у нового поколения и способность решать сложные задачи позволит обеспечить технологический суверенитет стране.
Так, запуск онлайн-тренажера “Число Т”, как и проведение ежегодного Всероссийского математического диктанта 1 декабря, стало частью образовательного проекта “Т=Математика”. Попробовать свои силы в онлайн-тренажере можно на сайте или в приложении банка.
В Т-Банке отмечают, что любая инновация в современном цифровом мире всегда начинается с языка математики. Для того, чтобы поднять престиж и интерес к этой науке на новый уровень компания разработала ряд бесплатных инициатив, которые затем объединила в масштабный образовательный проект “Т=Математика”. “Число Т” позволяет детям в игровой форме узнавать новое, а взрослым –- поддерживать в тонусе работу мозга. В компании уверены, что интерес к математике у нового поколения и способность решать сложные задачи позволит обеспечить технологический суверенитет стране.
Так, запуск онлайн-тренажера “Число Т”, как и проведение ежегодного Всероссийского математического диктанта 1 декабря, стало частью образовательного проекта “Т=Математика”. Попробовать свои силы в онлайн-тренажере можно на сайте или в приложении банка.
👍45😐22🔥12❤🔥4❤3🤔2
Hugging Face выпустили бесплатный открытый курс по файнтюнингу
В программе – теория и приктика по LoRA, файнтюнингу с учителем, DPO, ORPO и другим техникам alignment'а и настройки модели под ваши задачи. Все ноутбуки сделаны на примере SmolLM2 и вообще курс заточен под локальные модельки, но знания легко переносятся.
Полезная и крутая практика, особенно если реально имеете дело с файнтюнингом на работе или учитесь. Ссылка
В программе – теория и приктика по LoRA, файнтюнингу с учителем, DPO, ORPO и другим техникам alignment'а и настройки модели под ваши задачи. Все ноутбуки сделаны на примере SmolLM2 и вообще курс заточен под локальные модельки, но знания легко переносятся.
Полезная и крутая практика, особенно если реально имеете дело с файнтюнингом на работе или учитесь. Ссылка
👍91🔥30❤10☃3🍓2
Ух ты: Amazon вышли из спячки и релизнули новую линейку моделей Nova
В семейство вошли модели Nova Pro, Micro и Lite. Флагманская крупная Pro где-то на уровне Llama 3.2 90B. По некоторым бенчмаркам наступает на пятки Sonnet 3.5 и GPT-4o, но вряд ли все-таки будет полезнее в использовании (судить сложно, будем ждать результатов на арене). Зато цены приятные: $0.8/1M Input, $3.2/1M output. Это примерно треть цены GPT-4o. Контекст – 300К.
Micro и Lite, кажется, получились лучше. Lite примерно на уровне Gemini Flash, а Micro чуть хуже Haiku 3.5, но имеет отличную скорость: 157 input tokens/s, что быстрее, чем у Gemini 1.5 Flash, Llama 3.1 8B и GPT-4o mini.
Попробовать уже можно на Арене или на aws
В семейство вошли модели Nova Pro, Micro и Lite. Флагманская крупная Pro где-то на уровне Llama 3.2 90B. По некоторым бенчмаркам наступает на пятки Sonnet 3.5 и GPT-4o, но вряд ли все-таки будет полезнее в использовании (судить сложно, будем ждать результатов на арене). Зато цены приятные: $0.8/1M Input, $3.2/1M output. Это примерно треть цены GPT-4o. Контекст – 300К.
Micro и Lite, кажется, получились лучше. Lite примерно на уровне Gemini Flash, а Micro чуть хуже Haiku 3.5, но имеет отличную скорость: 157 input tokens/s, что быстрее, чем у Gemini 1.5 Flash, Llama 3.1 8B и GPT-4o mini.
Попробовать уже можно на Арене или на aws
👍35🔥11👏5☃1👌1