#разное

Начал преподавать DS для менеджеров в совместной магистратуре с ВШЭ.

И вот тут я познал на себе "проклятие знания". Это когда ты вроде все знаешь и для тебя все просто. Но нужно объяснить/изложить твои знания в кратком виде людям, которые не очень-то в твоей области понимают. И начитается веселье. Не то, чтобы совсем непонятные слова вещаю, но когда делаю лекции, иногда ловлю себя на мысли "чего так сложно, не понятно же будет нифига". Ну, в том, наверное и состоит талант преподавателя - донести не самую простую информацию настолько эффективно, чтобы у учеников хоть что-то осталось в голове от рассказанного материала.

P.S. В википедии забавный пример про эксперимент с выстукиванием песни (не слышал про такой раньше). Почитайте, там немного текста.

Про мешок с конфетами, стратификацию и сэмплирование

Провёл на этой неделе в Вышке несколько очных пар. Было круто снова сходить в аудиторию и посмотреть на живых людей 💕

На каждой паре мы замутили эксперимент со взвешиванием конфет:

- Известно, что в мешке 100 конфет.
- Конфеты разного размера — большие, маленькие, средние.
- Каждый студент суёт в мешок свою мощную лапищу, вытаскивает горсть конфет и взвешивает конфеты из неё. Можно взвесить вместе, можно по одной.
- Дальше студент строит прогноз, сколько весит весь мешок целиком.
- Тот, кто оказался ближе всех к реальному прогнозу, забирает мешок себе.

В чём фишка?

Чем больше конфета, тем выше вероятность вытянуть её из мешка. Когда я сую в мешок руку и делаю конфетный сэмпл, я получаю на выходе искажённые пропорции между конфетами разных видов. Я сильно завышаю число больших конфет и итоговый вес, который я прикидываю оказывается слишком большим.

Выборка оказывается не iid, как нам надо в матстате. Оценки смещенные. Задача студента — допереть до этого и придумать примерный коэффициент для коррекции веса, завязанный на размер конфет.

В первый день я продолбал сеттинг экспа полностью. Во-первых, мешок был сетчатый, во вторых я разрешил трогать его. Победитель тупо пересчитал все разновидности конфет и умело сформировал горсть, чтобы взвесить каждую.

Во второй день я запретил трогать мешок. В мешке были мишки на севере, мелкие швейцарские шоколадные плитки и тоблероны. Люди чистили свой сэмпл от выбросов в виде тоблеронов, составляли систему уравнений и получали примерное количество мишек на севере. Их количество было после решения системы завышено, как я и планировал.

Тем не менее, прогнозы люди особо не завышали. У меня не было времени аккуратно подобрать пропорцию между плиточками и мишками. Она оказалась неудачной и из-за этого не вышло поймать ярко выраженное завышение прогнозов.

В следующий раз надо делать это аккуратнее и придумать какое-нибудь развитие этого экспа.

#ml

Коллеги написали интересную статью по теме управления рисками при использовании ML моделей. Конечно, это требует уже некоторого развития инструментов и практик в области DS в компании, но так и X5 - уже весьма и весьма зрелая в этой области компания.

В любом случае, где бы вы не работали в области DS, материал будет полезен. Потому что мы все помним о законе Мерфи: "Если что-нибудь может пойти не так, оно пойдёт не так". А если от этого зависят денежные показатели компании, то реализация этого закона (и если мы не приняли никаких мер, чтобы справиться с возможными проблемами) не очень порадует руководство ;)

В общем, enjoy!

​​#разное

Написал стихотворение для конкурса, но оно никуда не прошло (бывает). Там было несколько тем на выбор, я в итоге совместил две: "зима" и "любовь". Выложу сюда (все равно отпуск, мне что-то писать слишком лениво). Пунктуации там нет, потому что мне ее было неохота уже причесывать (но это и не мешает, если подумать).

Сковало город 
Звенящей коркой льда
Блестят холодных улиц
Белесые глазницы

Теряются в груди слова
Клубятся паром вздохи
И снегом опадают
На улицы столицы 

Смотрю я на тебя
И будто сквозь
Старательно молчу 
Холодными словами

Тебя не удержать
Уходим врозь
А ведь когда-то
Мы не следили за часами

P.S. Иллюстрация от бинга (то бишь, от Dalle-3). Вышло весьма годно (суть передана вполне себе хорошо).

#разное

Я тут узнал, что фамилия Альтман переводится, как "старый человек". И мы как раз знаем одного Альтмана, который (после множества приключений) работает в OpenAI. И, в какой-то степени, он создает нового человека. Иронично

#разное

Немного о гемба. Этим прекрасным нихонским словом на Руси зовут обычный выход на полевую работу. Очень полезно иногда воспользоваться тем, что разрабатываешь (особенно для продактов).

Собственно, в эту пятницу я сходил в ближайшую Пятерочку немного помочь людям в магазине с их работой (в меру своих небольших сил).

Опыт интересный, работать в магазине не так уж просто. Клево понимать, как реально работает то, что ты видишь только в виде сухих цифр статистики (так еще и по большому множеству объектов). Особенно порадовало, что только что выложенный товар кто-то берет, ну и приятно было помочь с поиском товара, да и послушать мнение какого-то случайного старика про то, какое же безалкогольное пиво лучше.

В общем. Если вы не пытались поделать работу на нижнем уровне (прямо в поле) - то советую об этом подумать. Узнаете много нового ;)

P.S. Помню, как работал в такси аналитиком. Было печально видеть, как отказывается тебя везти водитель твоего же сервиса такси. В итоге я уехал на такси-конкуренте ;)

​​#statistics

В прошлом году я рассказывал на Дата Елке доклад про балансировку в causal inference. Коллеги поднапряглись и сделали из этого увлекательное чтиво на Хабре. Статья получилась достаточно объемная и интересная (еще бы я не похвалил материал, таки это основано на моем докладе).

В общем, наслаждайтесь и просвещайтесь!

#разное

Еще похвастаю.

Тут к новому году вышло пару моих новых рассказов. А еще, все сборники, в которые я попал со своими рассказами, есть в онлайне (вдруг, кто хочет почитать). Сборники "Русская история ужасов", "НФ (Новая Фантастика)", "Питер#2". Везде под своим именем, без псевдонима (Артем Ерохин).

В январе выйдет еще рассказ, но в сборнике другого издательства. Будет еще один сборник ужасов в коллекцию.