Вот и стрим с Богданом

Моя любимая рубрика, пацаны к успеху шли или Форбс 30 до 30

Наконец-то дошли руки установить мега простыню версии 4.0.

Установка оказалась гораздо легче чем версия 3.0, блок работает еще тише и теперь его совсем неслышно, управление похлопыванием гораздо удобнее чем ночью лезть в аппку (не так, чтобы часто приходилось это делать, но тем не менее). Предыдущая версия делала матрас чуть жестче, что мне нравилось, новая версия вообще кажется его никак не меняет.

В целом - очень рекомендую

Заказал себе бочку и чиллер для холодных ванн, они как раз на картинке.

Буду анализировать через датчики oura и eight sleep в течении трёх месяцев, чтобы оценить, работает ли этот протокол.

В прошлом году, когда делал в домашних условиях ванну со льдом в течение трёх месяцев, мне очень зашло, но много времени тратил

На днях зашла дискуссия про измерения, data driven и прочие алюминиевые огурцы и возник вопрос:

Отвечает ли технологический департамент за бизнес результаты?

Один из авторитетов, участвующих в дискуссии, утверждал что нет, технологии отвечают только за технологии, а уже бизнес должен с их помощью добывать ценность. По аналогии с продавцом, задача которого предоставить качественный товар (в зависимости от цены), а добыча ценности - уже задача покупателя

Мне эта позиция кажется неверной, хотя безусловно удобной. С таким подходом тяжело построить партнёрские отношения, чувство ответственности за результат и проактивность (откуда возьмутся те самые высокогрейдовые и проактивные?).

Мы вам предоставили что вы просили, дальше - не наша проблема. Особенно плохо может выйти, когда это касается аналитики и работы с данными.

Но что-то в этом подходе безусловно есть. Эта дискуссия, кстати, началась после обсуждения кто и как должен измерять результаты проектов

По итогам вчерашнего поста я увидел как много специалистов есть в чатике, поэтому хочу спросить их мнения

Мне есть что на это ответить:

A/B тесты оценивают общий эффект, будь то средний, медианный, перцинтильный и т.д. Утверждение о том, что требуется 100% случаев для принятия решения, неверно. Возможно, у вас возникло неправильное понимание этого процесса. Рекомендую обсудить ваши наблюдения с командой Саши Сахнова. Это поможет устранить недоразумения и объяснить, как это действительно работает, чтобы в дальнейшем не возникало ложных представлений.

Если в 70% случаев стало лучше на 1%, в 20% не изменилось, а в 10% стало хуже на 7%, общий эффект будет:

0.7 * 0.01 + 0.2 * 0 - 0.1 * 0.07 = 0

В этом случае, изменение не имеет смысла, поскольку оно не приносит выгоды, а наоборот, может привести к потерям, учитывая затраты на его реализацию. Платформа предоставила вам распределение результатов. Теперь ваша задача - найти способы либо уменьшить потери в 10%, либо увеличить прибыль в 70%.

Что касается уменьшения количества экспериментов, возможно, это даже хорошо. Ведь каждый эксперимент требует значительных ресурсов, особенно в офлайн-ритейле. Возможно, раньше, когда большинство экспериментов считались успешными, не все было в порядке. В развитом бизнесе процент успешных экспериментов не может быть высоким, иначе зачем экспериментировать - сразу внедряйте на всех. Мне помнится, процент успешных экспериментов был на уровне 90+%, что вызывает сомнения в их достоверности. Более того, платформа - инструмент - решения принимает топ менеджмент, хочет рисковать - пусть рискует, измерительный прибор лишь говорит что видит

Особенно забавно это читать после вчерашнего поста. Мир, где бизнес живет под железной пятой математиков

3/3

Сегодня узнал новое.

Кандидат пытался убедить что O(n log n) эффективнее чем O(n). Конкретно сравнивали quick sort и взять первый элемент, чтобы найти максимум или идти по пути сравнения каждого элемента с текущим максимальным. Век живи - век учись

В целом, конечно, такое бывает, когда один алгоритм в асимптотике лучше, но у него большой оверхэд из-за какой-нибудь константы здоровенной, и на практике не лучше

Регулярно спрашивают как найту работу за пределами РФ, как показал отклик на мои вакансии в КЛ - желающих очень многою

Очевидно, что международные стартапы с русскоговорящими фаундерами или командами – один из самых простых способов получить оффер за рубежом, как минимум cultural fit пройти легче, да и компании, в которых вы работали, скорее всего скажут в таком случае чуть больше, чем ничего

Вакансии в таких компаниях собирают ребята в канале Connectable Jobs (попросили рассказать про себя), а также делятся прямыми контактами HR для отклика.
Как результат – уже десятки читателей получили офферы в Neon, InDrive, 1inch, Wheely и др.

Несколько актуальных вакансий:
– Machine Learning Systems Engineer в CentML (Remote US или Торонто)
– Frontend engineer (KYC) в Wallet on Telegram (remote)
– AI/LLM Engineer в Mayflower (Кипр, помогают с релокацией)
– Senior Data Scientist в Wooga (Берлин, помогают с релокацией)
– Head of Machine Learning Engineering в Exactly.аi (remote или Лондон)

Еще у ребят есть отдельный канал для вакансий в других областях, например, продукте, дизайне, аналитике и маркетинге.

Прочитал статью - Poisoning Attacks against Recommender Systems: A Survey

Утверждают что можно заложить такие данные в датасет для рекомендашек, что потом можно это использовать для корыстных замыслов. Сделать это можно довольно просто, зайти на сайт и покликать специальным образом на специальные товары, чтобы это попало в обучающую выборку

Делят на три категории: Component-Specific, Goal-Driven, and Capability Probing

В целом ничего интересного, но провели мета-рисерч 45 статей на эту тему и упомянули их. Будь у меня время и рекомендательная система достаточного большо масштаба в открытом доступе для клиентов, я бы запустил internal red-team, чтобы попробовать ее поломать и посмотреть получается или нет.

Кстати - идея для стартапа

Так вышло, что я все-еще ищу себе Principal ML Engineer. Локация - Лондон (можно выбрать еще KL если хочется). По деньгам +-как E7 в Meta. Смотрю в сторону IC, не менеджера, хотя на этом уровне всегда нужен leadership. Если интересно - можно написать мне в личку, обсудим

Во вторник, 20 августа, в 18-00 по Лондону проведем стрим с Нерсесом

Нерсес Багиян, молодой руководитель аналитики в одном из бизнес-юнитов Райфайзен Банка, хедлайнер нескольких курсов на karpov.courses, а также первый стажер в менеджерской карьере Валеры Бабушкина

Нерсес стал руководителем в 22 года и за 4.5 года его команда выросла с 3 человек до несколько десятков. На стриме будем обсуждать какие плюсы и минусы быть руководителем в таком возрасте, становится ли больше времени при росте команды, а также почему все люди армяне

Забавно что статья Кохави на KDD 2024 - False Positives in A/B Tests - практически тоже самое что и The reproducibility of research and the misinterpretation of p-values от Roayl Society of Open Science. По странному стечению обстоятельств прочитал их подряд и сразу заметил

И там и там считают FPR, и там и там использую prior. Результаты и там и там сходятся. Надо сказать, что статья Кохави чуть более прикладная и ссылается на статью от 2017 года.

Если кратко. Допустим 10 из 100 аб тестов у вас успешны и стат значимы в нужную сторону. При альфе 0.05 в среднем 5 тестов из 100 будут стат значимыми всегда, допустим 2.5 будут показывать в нужную сторону. Значит 1/4 ваших стат значимых и хороших аб тестов - будут ложными

Пошел искать статьи от 2018 года, ждите меня на KDD 2025.
#ArticleReview

Начинаем стрим через полчаса, вопросы можно сюда