Про мешок с конфетами, стратификацию и сэмплирование

Провёл на этой неделе в Вышке несколько очных пар. Было круто снова сходить в аудиторию и посмотреть на живых людей 💕

На каждой паре мы замутили эксперимент со взвешиванием конфет:

- Известно, что в мешке 100 конфет.
- Конфеты разного размера — большие, маленькие, средние.
- Каждый студент суёт в мешок свою мощную лапищу, вытаскивает горсть конфет и взвешивает конфеты из неё. Можно взвесить вместе, можно по одной.
- Дальше студент строит прогноз, сколько весит весь мешок целиком.
- Тот, кто оказался ближе всех к реальному прогнозу, забирает мешок себе.

В чём фишка?

Чем больше конфета, тем выше вероятность вытянуть её из мешка. Когда я сую в мешок руку и делаю конфетный сэмпл, я получаю на выходе искажённые пропорции между конфетами разных видов. Я сильно завышаю число больших конфет и итоговый вес, который я прикидываю оказывается слишком большим.

Выборка оказывается не iid, как нам надо в матстате. Оценки смещенные. Задача студента — допереть до этого и придумать примерный коэффициент для коррекции веса, завязанный на размер конфет.

В первый день я продолбал сеттинг экспа полностью. Во-первых, мешок был сетчатый, во вторых я разрешил трогать его. Победитель тупо пересчитал все разновидности конфет и умело сформировал горсть, чтобы взвесить каждую.

Во второй день я запретил трогать мешок. В мешке были мишки на севере, мелкие швейцарские шоколадные плитки и тоблероны. Люди чистили свой сэмпл от выбросов в виде тоблеронов, составляли систему уравнений и получали примерное количество мишек на севере. Их количество было после решения системы завышено, как я и планировал.

Тем не менее, прогнозы люди особо не завышали. У меня не было времени аккуратно подобрать пропорцию между плиточками и мишками. Она оказалась неудачной и из-за этого не вышло поймать ярко выраженное завышение прогнозов.

В следующий раз надо делать это аккуратнее и придумать какое-нибудь развитие этого экспа.

#ml

Коллеги написали интересную статью по теме управления рисками при использовании ML моделей. Конечно, это требует уже некоторого развития инструментов и практик в области DS в компании, но так и X5 - уже весьма и весьма зрелая в этой области компания.

В любом случае, где бы вы не работали в области DS, материал будет полезен. Потому что мы все помним о законе Мерфи: "Если что-нибудь может пойти не так, оно пойдёт не так". А если от этого зависят денежные показатели компании, то реализация этого закона (и если мы не приняли никаких мер, чтобы справиться с возможными проблемами) не очень порадует руководство ;)

В общем, enjoy!

​​#разное

Написал стихотворение для конкурса, но оно никуда не прошло (бывает). Там было несколько тем на выбор, я в итоге совместил две: "зима" и "любовь". Выложу сюда (все равно отпуск, мне что-то писать слишком лениво). Пунктуации там нет, потому что мне ее было неохота уже причесывать (но это и не мешает, если подумать).

Сковало город 
Звенящей коркой льда
Блестят холодных улиц
Белесые глазницы

Теряются в груди слова
Клубятся паром вздохи
И снегом опадают
На улицы столицы 

Смотрю я на тебя
И будто сквозь
Старательно молчу 
Холодными словами

Тебя не удержать
Уходим врозь
А ведь когда-то
Мы не следили за часами

P.S. Иллюстрация от бинга (то бишь, от Dalle-3). Вышло весьма годно (суть передана вполне себе хорошо).

#разное

Я тут узнал, что фамилия Альтман переводится, как "старый человек". И мы как раз знаем одного Альтмана, который (после множества приключений) работает в OpenAI. И, в какой-то степени, он создает нового человека. Иронично

#разное

Немного о гемба. Этим прекрасным нихонским словом на Руси зовут обычный выход на полевую работу. Очень полезно иногда воспользоваться тем, что разрабатываешь (особенно для продактов).

Собственно, в эту пятницу я сходил в ближайшую Пятерочку немного помочь людям в магазине с их работой (в меру своих небольших сил).

Опыт интересный, работать в магазине не так уж просто. Клево понимать, как реально работает то, что ты видишь только в виде сухих цифр статистики (так еще и по большому множеству объектов). Особенно порадовало, что только что выложенный товар кто-то берет, ну и приятно было помочь с поиском товара, да и послушать мнение какого-то случайного старика про то, какое же безалкогольное пиво лучше.

В общем. Если вы не пытались поделать работу на нижнем уровне (прямо в поле) - то советую об этом подумать. Узнаете много нового ;)

P.S. Помню, как работал в такси аналитиком. Было печально видеть, как отказывается тебя везти водитель твоего же сервиса такси. В итоге я уехал на такси-конкуренте ;)

​​#statistics

В прошлом году я рассказывал на Дата Елке доклад про балансировку в causal inference. Коллеги поднапряглись и сделали из этого увлекательное чтиво на Хабре. Статья получилась достаточно объемная и интересная (еще бы я не похвалил материал, таки это основано на моем докладе).

В общем, наслаждайтесь и просвещайтесь!

#разное

Еще похвастаю.

Тут к новому году вышло пару моих новых рассказов. А еще, все сборники, в которые я попал со своими рассказами, есть в онлайне (вдруг, кто хочет почитать). Сборники "Русская история ужасов", "НФ (Новая Фантастика)", "Питер#2". Везде под своим именем, без псевдонима (Артем Ерохин).

В январе выйдет еще рассказ, но в сборнике другого издательства. Будет еще один сборник ужасов в коллекцию.

С наступающим!

Красивое
Microsoft Light Simulator
A* (A Star) pathfinding algorithm visualized on the city streets of Chicago and Rome.

Data from OpenStreetMap, OSMnx - intersections of streets represented as nodes and streets as edges
Tools used for visualization - Python, Blender

youtube

#разное

В этом году снова получил премию лучшего ментора ODS. Плюс, еще и вошел в список топ докладов года (там много клевых докладов, стоит посмотреть).

Приятно чувствовать, что твои заслуги признает сообщество ;)

#statistics

Сделал тут недавно подборку разных методов и тестов для лекции и семинара по статистике (она, конечно, в упрощенном виде была, все же это занятие было для менеджеров). Все в excel. Умаялся, конечно, знатно. Но вдруг кому будет полезно (если вы в эксельках что-то считаете, конечно). Там даже бутстреп есть.

P.S. Я немного отвлеченно это делал, так что могут быть опечатки в формулах. Надеюсь, что не очень много ;)

В марте буду вещать про эти ваши LLM (и как это дружит с разметкой данных)

🔥 Артем Ерохин, X5 Tech: «Как сократить затраты на разметку данных с помощью LLM»
✅ Большие языковые модели стремительно ворвались в нашу жизнь и изменили ее. 28 марта на форуме Data&AI 2024 Артем Ерохин, ведущий менеджер по работе с большими данными X5 Tech, расскажет, как сократить издержки на разметку данных с помощью LLM, как такие модели могут использоваться для разметки, какие существуют сценарии улучшения качества и ограничения использования, а также какой опыт применения LLM к разметке данных имеется в розничной компании X5.
📣Внимание! Акция «1+1»!
Только до 7 марта - 2 онлайн-билета - по цене 1!
👉Спешите регистрироваться👉

#ml #llm

Коль я уж занимаюсь последнее время LLM, давайте о них и поговорим. Итак, начнем с простых вещей. Много кто пытался вывести "формулу идеального промпта" (ей богу, звучит максимально алхимически, почти "формула философского камня"). В итоге есть множество вариантов, как именно лучше писать промпт. Давайте рассмотрим один из таких вариантов:

1. Задача.
Четкое и детальное описание задачи, которую требуется решить LLM. Самая важная часть, в которой мы описываем, а что же мы хотели от модели. Некорректная постановка задачи приведет к некорректному ответу. 
2. Контекст.
Дополнительный контекст, который может быть важен для задачи. Можно определить, с какой позиции нужно рассматривать вопрос, вносить дополнительные справочные данные или иную важную для получения результата информацию.
Частью контекста может быть т.н. “Персона”, то есть детальное описание, с какой точки зрения смотреть на задачу. 
3. Примеры/Пояснения.
Мы можем привести дополнительные разъяснения о том, как именно мы хотели бы решить задачу. Например, указать, нужно ли нам детальное решение или краткое, должен ли быть тон профессиональным или дружелюбным и т.д.
Отдельно мы можем привести пример (или несколько примеров) того, как должна быть решена задача. Конечно, если такой пример в принципе можно привести.
4. Формат.
В этой части мы можем указать, в какой формате нам нужен ответ. Это должна быть таблица, план решения задачи, работоспособный код на определенном языке? Все это позволяет точнее зафиксировать, как именно модель должна нам ответить.

Некоторые из пунктов дробят на меньшие сущности (например, выделяют "персону/роль" в отдельную сущность). В других материалах дополнительно приводят "важность" каждой составляющей (Задача важнее всего, потом идет контекст, а потом уже примеры/пояснения, описание роли, формат ответа и т.п.). Но в целом все крутится примерно около того же самого.

Получаем, что Промпт = Задача + Контекст + Примеры/Пояснения + Формат итога