Telegram Web
Запись на курс «База ML» официально открыта!

🥳
На прошлой неделе мы с командой провели онлайн-вебинар школы MLinside и открыли запись на наш первый курс «База ML».

❤️ Признаюсь, я очень долго этого ждал, долго решался на запуск своей школы (несмотря на 15 лет преподавания ML в ВУЗах и компаниях и успех наших курсов на Coursera), долго готовил все необходимое, и наконец очень рад, что наш курс стартует.

☝️Цель курса - дать слушателям навыки, нужные для перехода в сферу машинного обучения. Для новичков это будет возможностью подготовиться к поиску работы и прохождению собеседований, а для специалистов в смежных областях - расширением экспертизы и возможностью дороже продать свои услуги на рынке труда. Подробнее о курсе можете узнать, прочитав прикрепленные к посту карточки.

💸Способы оплаты: карты РФ банков, иностранные карты, оплата от вашей организации.
Также доступна рассрочка на 3-6-12-18 месяцев.

По промокоду KANTOR вы получите скидку 5% на обучение.

Старт курса: 18 сентября
❗️На первый поток мы возьмем только 50 человек (осталось менее 15 мест).
Забронировать место на потоке можно здесь⬇️

http://mlinside.ru
Как я чуть не продолбал свою фамилию

Пару месяцев назад у меня случилась крайне неприятная вещь: я увидел в почте, что у меня закончилось время регистрации домена kantor.ai, буквально на пару дней позже истечения всех сроков 😱

Оказалось, что его уже зарегистрировал кто-то во Владивостоке 🤯

Не то чтобы я активно пользовался доменом, но я успел к нему привязаться, плюс некоторые дальнейшие планы прям совсем не стыковались с его потерей.

Что же делать?

Мои коллеги по MLinside попробовали выручить меня и связаться с новым владельцем домена, а я приготовился отвалить кругленькую сумму за перекупку домена. Но человек нам так и не ответил.

В глубине души я продолжал надеяться, что домен просто станет доступен для регистрации. И вот сегодня чудо свершилось, а я на радостях продлил домен на 10 лет вперед 😂

Вот теперь думаю, уж не маркетинговая ли это уловка была, чтобы продлевали на по-дольше 🤔
🌏Gen AI для генерации миров

🎮 Когда у меня в компании все обсуждали мета-вселенные и с экспертным видом размышляли, как оно будет, мне хотелось встать и закричать: «Все, кто не играл в Roblox, выйдите из чата» :)

👶 Для тех, у кого нет детей, детей друзей и детей родственников, и кто в танке: Roblox эта такая игра с играми. Ну уж про Minecraft, где весь мир кубический, и вы кубический (по-простому - квадратный))), вы уж точно все слышали. Так вот в Roblox вы такими же несложно выглядящими персонажами можете играть в кучу разных игр, а креаторы могут их создавать на движке роблокса.

🎉 Буквально в эту пятницу Roblox объявили о разработке Gen AI модельки, которая будет создавать игровой мир по текстовым промтам. В самой статье приводится замечательный пример: представьте, что баттл-рояль на 100 игроков сможет реализовать команда из 2-3 разработчиков.

Сама идея разработки игр с помощью Gen AI во всех своих проявлениях конечно не нова, да и концепция «игра по промту» тоже. Привязка к платформе Roblox несколько сужает многообразие вариантов, но зато становится проще натренировать что-то удобоваримое => юзабельный инструмент скорее всего случится быстрее чем для геймдева в целом.
Please open Telegram to view this post
VIEW IN TELEGRAM
Статзначимость в А/В тестах или немного о том, зачем нужна статистика (часть 1/3)

Сейчас я заканчиваю готовить математическую часть нашего курса «База ML» (в частности, модуль по теорверу) и очень плотно работаю с вопросом «а зачем оно надо?». Топ-1 ответом на вопрос, зачем нужны теорвер и статистика в ML (да и не только в нем) по-прежнему остается проверка статистической значимости. В современном мире мы чаще встречаемся с ней в контексте A/B тестов, когда части клиентов показывают одно, части другое, и из этого эксперимента пытаются сделать выводы. В этих постах вас ждет рассказ в трех частях: 1) введение, 2) непосредственно по теме и 3) некоторые интересные моменты, которые тоже полезно обсудить. Кто знает ответы на вопросы, выделенные жирным в этом посте, могут просто пролистать его и переходить сразу ко второму.

Зачем вообще нужны А/В тесты?

Потребность в А/В тестах возникает тогда, когда мы хотим что-то улучшить. Например, взамен какого-то существующего алгоритма персональных рекомендаций товаров или старого интерфейса мобильного приложения внедрить новую версию. А/В тесты как метод отвечают на вопрос: «Как понять, что это правда будет улучшать важные для нас показатели?»

Посмотреть «стало ли продаж больше» и удовлетвориться такой оценкой нововведения — это очень топорный подход, который сработает только когда бизнес-показатели не зависят от времени и нововведение лишь одно. Обычно это не так. Бизнес растет или угасает, бывает «сезон» и «не сезон». Бывает очень много изменений за месяц, и понять, какое именно из них вызвало эффект, невозможно. Однако многие вещи в коммерческих компаниях (даже самых технологичных) и в 2024 году делаются без А/В тестирования. А еще больше — без оценки статзначимости. К А/В тестам не нужно относиться теологически, но стоит понимать силу и возможности инструмента.

Что такое статистическая значимость и A/A тесты?

Допустим, нет пока никакого нововведения, которое вы будете оценивать в А/В тесте, есть пользователи вашего сайта или приложения, и вы просто делите их на две группы и смотрите на результат в каждой (например, на конверсию посещений в покупки на сайте). Такой тест называется А/А тестом, и, наверное, вас не удивит, что даже при хорошем разбиении на группы результаты в них будут немного отличаться.

Статистическая значимость эффекта в А/В тесте, грубо говоря, означает, что различие между группами заметно больше, чем было бы в А/А тесте, т.е. «есть реальный эффект», а не случайные отклонения. Что это значит для бизнеса? То, что хотя бы при сохранении тех же условий, что и во время проведения А/В теста, эффект от нововведения с большой вероятностью будет какое-то время сохраняться (важное уточнение: эффект может затухать со временем, никто не отменял «эффект новизны»).

#математика
Статзначимость в А/В тестах (часть 2/3)

Продолжаю отбирать хлеб у лектора по метрикам и A/B тестам в нашем курсе «База ML» 🙂 (хотя если хотите разобраться подробнее - приходите к нам)

Как проверяют гипотезы с помощью статистики

Рассмотрим простой пример: мы с другом 10 раз сыграли в шахматы, и он 10 раз победил, какова вероятность такого исхода, если мы с ним играем одинаково хорошо?

Если мы одинаково хороши, шанс выиграть у каждого 0.5, значит мой шанс проиграть все 10 игр был 0.5 в степени 10, т.е. около 0.001. Выглядит как не очень вероятное событие, придется признать, что друг все-таки играет лучше. Ровно так же мы будем делать и при проверке того, что между группами А и В в А/В тесте есть статзначимые различия.


Как работает проверка статзначимости в А/В

Работает это так: предположим, что у нас есть какое-то нововведение (новое оформление, новый интерфейс, новый алгоритм рекомендаций), и мы проводим А/В тест. А вот эффекта от нововведения нет и различия между группами на самом деле нет. Это в статистике называется «нулевой гипотезой» — тем, что мы в А/В тесте в идеале хотим отвергнуть.

Предположив, что нулевая гипотеза выполняется (статистически различия между группами нет), мы можем оценить, с какой вероятностью p можно увидеть разность показателей в группах больше, чем Y (тысяч долларов выручки, например). Как это сделать? Например, взять наши данные, много раз случайно разбить их на две группы и посмотреть, в каком проценте случаев различие между группами окажется больше Y. За счет случайности разбиений, даже если эффект в вашем разбиении на группы А и В был, в новых группах его не будет (т.к. пользователи случайно перемешаются), и можно считать это хорошей оценкой вероятности p.

Если вероятность p оказалась очень маленькой, значит разница в группах все-таки существенная.

И что, всегда делать несколько тысяч случайных разбиений?

Приведенный выше пример с моделированием А/А тестов — это лишь один из используемых на практике стат.критериев — перестановочный тест (с некоторыми оговорками, но не будем сейчас вдаваться в детали). По многим показателям этот стат.критерий не самый удобный, но зато очень просто иллюстрирует концепцию проверки гипотез.

В жизни же во многих случаях можно обойтись без численного моделирования и применить какие-то параметрические стат.тесты (те, в которых распределение величины Y, если нулевая гипотеза верна, выписывается явно формулой). Например, если мы считаем, что наша величина Y имеет нормальное распределение, то можно без численных экспериментов обойтись формулами для нормального распределения. На самом деле, не совсем, надо хотя бы проверить, что распределение правда нормальное, но на этом тоже не будем останавливаться.

Главное — получить распределение Y, при условии нулевой гипотезы. Численно, либо по формуле в рамках каких-то предположений. В нашем примере с шахматами тоже использовался параметрический тест — биномиальный.

Как понять, что вероятность p «мала» и что такое p-value?

Величина p в статистике называется p-value. Перед проведением любого А/В теста фиксируют уровень значимости, например 5%, и отвергают нулевую гипотезу только если p-value оказывается меньше уровня значимости. Т.е. мы допускаем вероятность 5% сказать, что эффект есть, когда его на самом деле нет. А/В тесты, к сожалению, вещь вероятностная, поэтому «точного» ответа на вопрос «есть ли эффект» не дают, только могут подтвердить его на каком-то уровне значимости. Само p-value в русской литературе называют достигаемым уровнем значимости (не путать с уровнем значимости выше — он был порогом, с которым сравниваем p-value).

#математика
Статзначимость в А/В тестах: дополнительные вопросы (часть 3/3)

Я слышал, что p-value — это не вероятность нулевой гипотезы, что это значит?

Все верно, это известная бородатая ошибка при интерпретации p-value. P-value — это не вероятность нулевой гипотезы, а вероятность увидеть в тесте такой же «эффект» или больше, при условии справедливости нулевой гипотезы (т.е. когда эффекта на самом деле нет). От этого можно перейти к вероятности нулевой гипотезы, при условии наблюдаемого эффекта по теореме Байеса, если вдруг вы будете знать все нужные для формулы вероятности, но нужды в этом нет.

А еще я слышал, что нулевую гипотезу нельзя принять, о чем это?

В А/В тесте мы хотим отвергнуть нулевую гипотезу, посмотрев на фактические данные. Но можем не отвергнуть. Подтвердить нулевую гипотезу не можем: если нам не хватает свидетельств против чего-то, это еще не значит, что это что-то верно 🙂

Бытовая иллюстрация:
Старушка на лавочке у подъезда выбирает, как поприветствовать Васю. В качестве нулевой гипотезы она принимает утверждение, что Вася обычный парень. А в качестве альтернативы — что Вася наркоман. Чтобы выбрать доброжелательное или агрессивное приветствие, она оценивает, насколько Вася плохо выглядит сегодня. Если «еще терпимо», то заключает, что свидетельств против нулевой гипотезы не хватает и нужно приветствовать доброжелательно. В этом случае она, однако, не может быть уверена, что Вася не наркоман, т.е. принять нулевую гипотезу. Но как вдумчивая и образованная пожилая женщина, не спешит с выводами и собирает данные.

Везде выше постоянно говорилось о каком-то статистическом различии между результатами в группах А/В, которое либо есть, либо нет. А что это значит?

Вот здесь мы вступаем на территорию более сложных формулировок. Если объяснять это не на бытовом уровне, то вы сами выбираете смысл «статистического различия» при формулировке нулевой гипотезы и альтернативы. Например, если мы сравниваем средние чеки в группах А и В, то под «статистически неразличимыми» результатами мы можем иметь ввиду одинаковое матожидание среднего чека в группе А и в группе В. Это будет нулевой гипотезой. Альтернативой — различные матожидания. Есть критерии, которые в качестве нулевой гипотезы рассматривают совпадение медиан распределений или просто совпадение распределений.

А еще слышал что-то про множественную проверку гипотез? Это о чем?

Это о том, что если вы проверяете одновременно несколько гипотез на уровне значимости, скажем, 5% каждая (например, оцениваете эффект сразу и на средний чек, и на конверсию в покупку, и на конверсию в переход на страницу товара), то шанс ложного срабатывания теста хотя бы для одной гипотезы будет уже не 5%, а существенно больше. Есть разные способы учитывать этот эффект.

А всех, кто хочет погрузиться глубже (например, узнать, как быть, если наблюдения в А/В тесте зависимые, и причем здесь бакетное сэмплирование), а также познакомиться и с AB тестами, и с методами машинного обучения - приглашаю на наш курс «База ML»

#математика
И вот вы такой шарите за А/В тесты все, что написано в постах выше, приходите в компанию внедрять ML, а там так. Ваши действия?
А по-моему отличные новости. Гораздо неприятнее будет узнать, что начальство или эйчар в компании очень своеобразны, уже устроившись на работу. Путь эта практика распространяется как можно скорее 🫶🏼 Будет всё сразу понятно :)
♠️Астропрогнозы и расклады таро стали обязательны на собеседованиях в IT-компаниях и банках

Я думала, что видела многое в бизнес- и корпоративном мире, но тут наткнулась на пост в социальных сетя одного из видных HR-щиков России Алены Владимирской. Она рассказывает, что подбирала CFO для одного известного необанка, и на последнем этапе собеседований столкнулась с запросом работодателя: соискатель должен пройти консультацию у таролога — иначе оффера не видать.

Алена смешно пишет, что в конечном итоге «Таро-специалист» указал на полную совместимость, и тем же вечером оффер пришел, однако отказ последовал уже от кандидата: специалист не хотел работать в банке, где на высокую позицию требовалось согласование высших сил.

Что сказать? Я и сама — с ужасом! — обращаю внимание на то, как эзотерика начала проникать в бизнес и корпоративный мир. Кроме здравого смысла я бы рекомендовала сместить фокус внимание на вопросы образования, обучения персонала, нежели на совместимость звезд и расклады карт Таро. Особенно на фоне обострившегося кадрового голода подобный отбор соискателей по принципу гороскопов или асцендентов (пришлось погуглить, как пишется этот термин!)
вообще будет сходить на нет, потому что и отбирать будет не из кого!

Расстановки, руны, расклады камней — все это бессмысленно и беспощадно. Не верю! Лучше смотреть на профессиональные качества конкретного человека, чем на какие-то эзотерические знаки вселенной и космоса.

А вы что думаете? Сталкивались с подобным?
Еще не поздно присоединиться :)

Первая группа получит больше всего внимания от преподавателей и максимальную кастомизацию курса. Все ваши запросы рассказать что-нибудь еще раз, добавить какое-нибудь задание или новую тему будут обработаны, домашки будут отсматриваться проверяющими, и по домашкам конечно же будет фидбек. Так что если хотите приобщиться к машинному обучению - самый подходящий момент 💯
Forwarded from MLinside - школа ML
Заканчивается набор участников на курс «База ML»❗️

🗣️На связи Виктор Кантор, и я рад сообщить, что сегодня стартует первый поток курса «База ML». Я безумно доволен тем, что спустя долгое время регулярной подготовки, сбора материалов и записи лекций мы наконец-то начинаем нашу образовательную деятельность! Для наших читателей мы подготовили карточки, в которых описали ваш путь на курсе👆

Осталось 3 последних места на первый поток⬇️
http://mlinside.ru
Запись закроется сегодня в 23:59 по мск!

💸Со способами оплаты вы можете ознакомиться на нашем сайте. Доступна рассрочка на 3-6-12-18 месяцев.
☝️Также хочу напомнить, что у вас будет возможность вернуть средства в течение первых двух недель, если по какой-то причине вам не подошел курс.

До встречи на лекциях!📚
А как отдыхать?

🏖️ Как я отдыхаю? Не могу сказать, что являюсь каким-то замечательным примером того, как нужно отдыхать. Я часто иду по пути наименьшего сопротивления и выбираю вариант с максимумом дофамина за минимум времени. То есть залипнуть в ютубчик, в Shorts, в компьютерную игрушку какую-нибудь. Но я заметил следующую вещь.

👀 С одной стороны, хочется отдыхать быстро и дёшево, то есть не перестраивать радикально своё расписание и не тратить кучу времени на подготовку. С другой стороны, хочется отдыхать так, чтобы потом не чувствовать себя ещё более уставшим. И именно эти дешёвые способы отдохнуть оставляют после себя ощущение какой-то неудовлетворённости. 

🏊 Так я начал вводить в свою жизнь спорт, в самом простом виде. Я с детства боялся воды и почти не умел плавать. И подумал, что это отлично — справиться со страхом. Оказалось, что плавать мне очень понравилось. И вот теперь я хожу на тренировки в бассейн дважды в неделю.

🏋️ Дальше увлечение спортом неминуемо потянуло за собой зал, я начал туда ходить, и в какой-то момент обнаружил, что на самом деле это занимает не так много времени. В компьютерную игру можно залипнуть на много часов, а в зал можно сходить буквально на час (если сильно не тупить и быстро собраться). А перезагружает это довольно хорошо.

📖 Затем я немного переосмыслил получение информации как вид отдыха. Понятно, что посмотреть YouTube или сериалы — это стандартный набор в 21-м веке. Но большое удовольствие получаешь и когда просто садишься и читаешь книгу. Особенно художественную: это возможность провалиться в какую-то другую реальность. Сначала это было сложно: я не очень быстро читаю, и мне было непросто снова привыкнуть к чтению в «нормальных объёмах» — больше рабочего отчёта или небольшой статьи.

🧑‍💻 Я начал с простого развлекательного чтива и удобной «читалки» для облегчения погружения. Читал я старую добрую научную фантастику — «Неукротимую планету» Гарри Гаррисона. Друг посоветовал мне приложение для ноутбука, которое автоматически пролистывает страницы с текстом на экране с нужной скоростью. То есть ты просто «залипаешь» в текст (совсем как в Shorts’ы) и не отрываешься, а потом внезапно выясняешь, что книга прочитана. Так я снова начал получать удовольствие от чтения, а дальше уже стало комфортным читать книги в любом виде. Особенно люблю читать на Amazon Kindle, потому что это очень приятный девайс для глаз.

📵 Ещё одно важное условие для отдыха — выкинуть подальше мобильный телефон. Я прямо физически чувствую раздражение и напряжение, когда залипаю в нём. Постоянное вовлечение во все рабочие чаты и процессы изматывает.

🚶Суперважное правило — нельзя не гулять. Вот именно в такой формулировке. Просто находиться на воздухе, перемещаться на своих двух ногах — это невероятное удовольствие, это замечательнейший отдых. И совсем не такой скучный и долгий, как можно подумать. Честное слово, лучше погулять полтора часа, чем пять часов залипать в какую-то игрушку. 

🕹️ Но даже к геймингу я серьёзно пересмотрел свой подход. Я довольно долго играл в разного рода онлайн-игры, где ты соревнуешься с живыми людьми. Но недавно я выяснил, что удовольствие от прохождения атмосферной однопользовательской игры намного больше, чем от быстрых каток в онлайн-играх. Это своего рода интерактивное кино.

🤯 Я заметил, что у меня из-за интенсивной работы в какой-то момент пропала возможность не только книжки читать, но и вот в такие однопользовательские компьютерные игры залипнуть, потому что я просто не могу так долго быть вне рабочего контекста. 

Сегодня мы каждый день куда-то бежим. Общее, что есть в моих экспериментах с отдыхом - это замедлиться и проявить немного внимания к себе, попробовать отключиться от повседневной тревоги, погрузиться в отдых, каким бы он ни был, полноценно. Пьете пиво с друзьями - уберите телефон и вовлекитесь уже в разговор, читаете книгу - не думайте о рабочих дедлайнах. Уже станет чуточку лучше :)

#личное
Когда делал рекомендации, мем особенно смешной :) Еще забавно, когда в тех сервисах, где паттерн потребления 99% клиентов именно в поиске + сортировке по цене, ожидают сразу какой-то супер-турбо-буст к метрикам от внедрения рекомендаций.
2024/09/27 12:04:33
Back to Top
HTML Embed Code: