Человек наук – это канал о красоте окружающего мира глазами учёного. Ведет его Вова, крутой биоинформатик, сейчас делает PhD в Мюнхене, связанное с машинным обучением и single-cell.

Здесь вы узнаете:

🍣 Математика программ лояльности: как надолго привязать голодных студентов к доставке роллов, чтобы они ещё и остались довольны

👾 Смешные и страшные истории из мира науки, а также шокирующая обыденность жизни учёных

📊 Как стоит и не стоит визуализировать данные

✉️ А также авторское исследование о том, как лучше писать письма для стажировок или PhD и
советы со стороны собеседующих, будет актуально для науки и не только.

Подписывайтесь!

Долгожданный разбор курса “Основы статистики” на степике

Итак, это свершилось, я наконец-то дописала разбор и опубликовала его здесь

https://ubogoeva.github.io/R4Analytics/posts/review_of_statistics_course.html

Немного контекста: в качестве вводного курса по статистике часто рекомендуют курс “Основы статистики” Анатолия Карпова на степике. Однако многие считают, что курс устарел и содержит много неточностей и ошибок, и я решила подробно разобрать, какие именно.
Постаралась следовать формату “критикуешь - предлагай” и самостоятельно раскрыть темы, которые были недостаточно объяснены в курсе, дополнив их источниками для дальнейшего изучения.

В конце разбора предлагаю свой список рекомендованных источников для изучения статистики на любой уровень подготовки.

В вычитке и корректировке формулировок финальной версии мне очень помог крутой статистик Матвей Славенко (рекомендую подписаться на его канал душно про дату).

#base_stat #stats

История A/B тестирования: от лечения цинги до цвета ссылок Google

Сегодня разберем историю A/B тестов — от первых экспериментов в медицине до современных бизнес-кейсов. Материал получился объемнее, чем изначально планировался, поэтому вынесла отдельно:

https://ubogoeva.github.io/R4Analytics/posts/history_of_AB_testing.html

В следующих постах разберем больше про первые A/B тесты в Amazon, Microsoft и других бигтехах.

Пишите в комментариях, что уже знали и что оказалось новым!

#stats #AB_tests #analytics

Как вкатиться в продуктовую аналитику с научным бэкграундом?
Насколько важна сильная база в статистике?

На эти и другие вопросы отвечу на стриме с Юрой Борзило, он крутой продуктовый аналитик в Альфа банке, автор канала про A/B тесты и продуктовую аналитику: https://www.tgoop.com/y_borzilo

Напомню, что я раньше работала биоинформатиком в лаборатории, изучала генные сети фитогормонов растений. Теперь перекатилась в продуктовую аналитику в Литрес, провожу A/B тесты и исследования.

На стриме поговорим:
1. Что такое "Анализ генных сетей фитогормонов растений"?
2. Почему решила уйти из науки в в аналитику?
3. Что было самое сложное при поиске первой работы аналитиком?
4. В чем отличие использования статистики в науке и в аналитике?
5. Почему всем нужен реальный опыт A/B тестов даже если хорошо знаешь статистику?
6. Действительно ли надо упарываться рядовому аналитику в статистику или хватит какой-то базы?

Стрим состоится 16 апреля, в 19.00 МСК.
Ссылки на трансляцию пришлю в день проведения стрима, а также обновлю в этом посте:
а вот и она https://us06web.zoom.us/j/82861386388?pwd=gguHOFCxOwAQT5MzNK4t2aSaz98bDK.1, запись будет отдельно

Пишите вопросы в комментариях или во время стрима!

А вот и запись стрима
https://youtu.be/gqbuCF8B4Cg

Сегодня обсудим, что означают усы на боксплоте, картинка для иллюстрации к опросу ниже

Правильный ответ на вопрос про боксплот: нет правильного ответа

Мнения в опросе разделились, побеждает ответ про максимальные и минимальные значения в пределах 1.5 IQR, а также довольно популярным оказался ответ про верхний и нижний квартили (на момент написания поста 31% и 19%, соответственно).

Однако я сама проголосовала за отсутствие однозначного ответа, так как в боксплоте могут быть разные настройки усов, поэтому нужно всегда подписывать, что означает ваш боксплот и читать обозначения. В большинстве случаев дефолтный боксплот будет действительно с наблюдаемым максимальным и минимальным значением от соответствующего квартиля в пределах 1.5 IQR, но могут быть и другие варианты.
В комментариях к опросу их обсудили, выношу их сюда в пост.

- Минимум и максимум: довольно часто встречаются боксплоты, где усы обозначают максимум и минимум, даже в статье Variations of Box Plots он именно такой (спасибо Максиму Кузнецову @bqmaks за ссылку на статью).
- 10% и 90% данных: в FastQC, биоинформатическом туле для контроля качества секвенирования, усы боксплотов обозначают 10% и 90% данных, цитата из документации:

The upper and lower whiskers represent the 10% and 90% points

Пример боксплотов оттуда на прикрепленной картинке

- Верхний и нижний квартили обычно обозначают сам ящик, а не усы, возможно популярность этого варианта объясняется тем, что люди невнимательно прочитали вопрос
- Все остальные варианты. Как было подмечено в комментариях, при желании в боксплоте можно настроить все что угодно, даже стандартное отклонение и доверительные интервалы, что конечно не рекомендуется делать.

На картинке к опросу боксплот соответствовал самому дефолтному варианту с 1.5 IQR, код для построения был такой:

library(tidyverse)
library(palmerpenguins)

penguins %>% 
  filter(species == 'Gentoo') %>% 
  ggplot(aes(species, bill_length_mm))+
  geom_boxplot()+
  theme_minimal()

Таким образом, наиболее близким к правильному ответу будет вариант, что усы боксплота соответствуют наблюдаемым максимальным и минимальным значениям от соответствующего квартиля в пределах 1.5 IQR, но могут быть и другие варианты, поэтому всегда нужно подписывать и проверять подписи ✍️

P.S. приходите 20 мая на лекцию по визуализации данных: https://bioinf.me/stat_myths

#base_stat

Как я перепутала средние чеки и ARPPU и заруинила несколько A/B тестов

Я работаю в команде платежей, поэтому основные A/B тесты у нас проводятся на последнем этапе воронки - от нажатия кнопки “Купить” до успешной оплаты. Мы используем конверсию в успешную оплату как ключевую метрику и ARPPU как вспомогательную, это достаточно стандартный подход.

Иногда бывает, что одна из метрик падает, а другая растет. Чтобы понять, что на самом деле происходит с выручкой, мы используем прогнозную финмодель. Мой коллега Рома читал про это очень крутой доклад на Aha-25 (ссылка вот, попозже я может напишу развернутый отзыв на конфу).

Небольшая сноска про термины 🤓:
Средний чек (Average Order Value, AOV) - это просто вся выручка, деленная на количество транзакций, то есть буквально среднеарифметическое.
ARPPU (Average Revenue Per Paying User) - средняя выручка на платящего пользователя.
Пример: пользователь 1 купил на 200р, пользователь 2 купил на 100р, потом еще на 300р. Тогда средний чек будет (200+100+300)/3=200, а ARPPU = (200 + (100+300))/2 = 300, так как платящих пользователей 2 в этом примере.
Есть еще метрика ARPU - Average Revenue Per User, средняя выручка на пользователя (включая тех, кто не заплатил).

ARPPU будет всегда больше чем средний чек, как минимум не меньше.
В контексте A/B тестов эти метрики считаются базовыми и разбираются на любом курсе.

Моя ошибка была в том, что я считала средние чеки (просто mean(revenue)), но почему-то думала что это уже ARPPU, таким образом проанализировала несколько результатов тестов. Ошибку случайно заметил продакт, когда сверял исторические данные и увидел, что мои значения "ARPPU" по порядку величины подозрительно похожи на средние чеки 🤦‍♀️. Пришлось пересчитывать, благо принципиально выводы не поменялись, но несколько тестов были признаны неуспешными, а после пересчета оказалось, что все нормально.

Почему используется именно ARPPU как метрика в A/B тестировании?

В принципе, можно использовать разные денежные метрики в зависимости от поставленной задачи. В нашем случае мы рассматриваем ARPPU в связке с конверсией. Используя финмодель, эта связка помогает принимать решения не “на глазок”, а с прогнозом реальной выручки. Но только если метрики посчитаны правильно — теперь я это точно не забуду 🙃

#analytics #AB_tests

🌱 Мендель, хи-квадрат и споры о статистике

В середине XIX века монах Грегор Мендель скрещивал сорта гороха и вывел знаменитые соотношения 3:1 и 9:3:3:1, которые стали фундаментом для понимания наследования признаков. Мы со школы знаем Менделя как отца генетики, и наверняка все помнят тот самый зеленый гладкий и желтый морщинистый горошек для иллюстрации законов дигибридного скрещивания.

В своей работе Мендель выбрал признаки, которые зависят только от одного гена, так называемые моногенные признаки — форма семян, цвет семян, высота стебля и тд, всего 7 признаков.

Мендель провёл десятки тысяч скрещиваний и получил соотношения 3:1 и 9:3:3:1. Это пример моногенного наследования — когда признак зависит от одного гена, и подчиняется простым законам, тем самым законам Менделя, которые назовут в его честь сильно позже:

1) Закон единообразия гибридов первого поколения: доминантный аллель подавляет рецессивный, и все гибриды первого поколения (F1) имеют одинаковый фенотип.

2) Закон расщепления признаков: при скрещивании гетерозигот (Aa × Aa) потомство делится в пропорции 3:1 по фенотипу и 1:2:1 по генотипу.

3) Закон независимого наследования признаков: при дигибридном скрещивании (два признака) гены наследуются независимо, давая соотношение 9:3:3:1 по фенотипу.

В целом можно сказать, что законы Менделя это “Hello world” от мира генетики. Во многих случаях они нарушаются, например если гены сцеплены, или если гомозиготы по рецессивному признаку не выживают, тогда расщепление будет другое. Однако было бы несправедливо сказать, что Менделю просто повезло наткнуться на удачный признак и удачный тип наследования, ведь был и неудачный опыт с ястребинкой, но это отдельная история.

Нас же интересует статистика.

В 1936 году Рональд Фишер, один из основателей современной статистики и синтетической теории эволюции, применил χ²-тест к данным Менделя и отметил, что результаты слишком близки к теоретическим пропорциям 3:1 и 9:3:3:1. Это вызвало подозрения.

Даже при моногенном наследовании должны были возникать отклонения от теоретических значений. Фишер предположил, что неизвестный ассистент Менделя мог неосознанно корректировать или отбирать данные, так как знал желаемое распределение.

Цитата Фишера:

"the data of most, if not all, of the experiments have been falsified so as to agree closely with Mendel’s expectations"

По сути, Фишер обвинил Менделя в фальсификации данных, что вызвало бурные споры в научном сообществе, которые актуальны и сейчас (последнюю статью на эту тему нашла за 2019 год).

А что думают статистики сейчас?

Одна из ключевых современных работ — статья Pires & Branco (2010) в журнале Statistical Science. Авторы предложили простую, но элегантную статистическую модель, которая объясняет «слишком идеальные» данные Менделя без фальсификации.
Их гипотеза:

Мендель мог из нескольких экспериментов публиковать только результаты с лучшим распределением, наиболее близким к теоретическому.

То есть если эксперимент давал пропорции хуже, чем предполагалось, его повторяли. А если новый результат был ближе к теории — брали его. Это не фальсификация, а unconscious bias, то есть неосознанная предвзятость.

Авторы показали, что такая модель:

- воспроизводит распределение p-value в данных Менделя,
- снимает подозрения в преднамеренной фальсификации,
- объясняет низкие χ²-значения лучше, чем честная выборка с независимыми тестами.

При этом они подчёркивают, несмотря на то, что замечание Фишера обосновано с точки зрения статистики, предложенная модель разрешает долгое противоречие между Менделем и Фишером, отцами современной генетики и статистики.

#stats

В комментарии закину фотографию из музея Менделя в Брно

Я обычно не фанат хайпа вокруг ML (линейные регрессии и t-test наше все 😏), но ребята из @blastim сделали настолько крутой курс по ML в биоинформатике на питоне, что я заценила программу даже при всей любви к R. Курс стартует уже завтра, 8 июля, еще можно присоединиться!

📌 Актуальные темы суперпонятным языком: лосс, бэкпроп, диффузия, аттеншн, эмбеддинги (если не все слова знакомы, это нормально, я тоже не все поняла 😁)
📌 Много биоинформатики: анализ биомедицинских данных, разбор популярных ИИ-моделей (Evo2, C2S Scale, AlphaFold), работа с API NCBI, Ensembl, PDB
📌 Реальные инструменты: деплой моделей в Telegram-бота и создание своих ИИ-агентов

8 июля – 30 августа | Онлайн | Преподаватели-ученые (среди них классный спец, Вова Шитов)

Что на выходе:
· Готовый проект для портфолио на GitHub
· Навыки от pandas до нейросетей + создание ИИ-агентов
· Диплом гособразца о повышении квалификации

❗️ Курс подойдёт, если вы уже знакомы с базовым Python. Если сомневаетесь — есть бесплатный входной тест.

Формат: 
Вт/Чт 19:00–21:00
Сб 10:00–14:00 по Мск
🔗 Подробнее и регистрация: https://agency.blastim.ru/pythonandml

По промокоду MLSUMMER25 будет 10% скидка, также доступны скидки студентам и аспирантам. Акции можно комбинировать, пишите @varvara_blastim

Приведите друга — получите по 10% скидки каждому