Обратные тесты или почему в Авито свернут блок похожих объявлений

Обратите внимание на статью Жени Чумаченко про обратные тесты. Обратные тесты - это когда вы отключаете какой-то функционал и смотрите что происходит.

Женя в статье раскрыл топ инсайт 🔥, который мне в свое время очень зашел. Возможно вы видели, что в Авито свернут блок похожих объявлений на карточке товара. Странно, да? Это не просто так сделано 🧠 Там на самом деле долгая история, за которой отправлю в первоисточник. Если кратко, то решение свернуть блок было принято после обратных тестов.

Вообще, обратные тесты - это очень сильный инструмент. Особенно для ML моделей. Вот есть у вас какая-то модель которую вы регулярно обновляете по результатам зеленых АВ

- Сохранятся ли модельные аплифты во времени?
- Сохранятся ли модельные аплифты при раскатках значимых изменений системы в целом?

Неизвестно) Поэтому периодически мы делаем обратные тесты на совсем старой версии модели. Так мы проверяем, какой эффект реально остался после условных 6 месяцев бурных выкаток. И иногда результаты нас не радуют 😅

Проводите ли вы обратные тесты? Есть ли у вас истории, как ухудшающий по дизайну тест оказался улучшающим? 😄

#tech

Признание: я теряюсь при чтении AI-каналов в Telegram

Иногда мне кажется, что я недостаточно в курсе AI-трендов и срочно нужно наверстать упущенное. Но стоит открыть какой-нибудь популярный AI телеграм канал, я понимаю, что читать эти каналы ну просто невозможно 🏌.

Я всеми силами стараюсь сосредоточиться, пытаюсь распарсить пост, но, как говорится, смотрю в книгу - вижу фигу. Понимая отдельные тезисы поста, я не могу собрать их в единое целое 💆‍♂. И они рассыпаются до того, как попасть мне в память. Сперва я думал, что проблема во мне, что я недостаточно разбираюсь в LLM. Но вот я уже даже на соревновании по LLM занял призовое место, и честно говоря ничего не поменялось.

Возьмем за пример один из самых крупных технических AI каналов - Сиолошная с 50k+ подписчиками. Типичный контент канала: разборы статей, бенчмарки свежих LLM с техническими деталями. И, конечно, отслеживание скандалов/интриг/расследований в OpenAI с упоминанием десятков фамилий. В день может выйти 5 и более постов! Когда я открываю этот канал, то не могу сразу понять: передо мной новый пост или продолжение предыдущего? 😅

Если вы чувствуете себя также, не расстраивайтесь. Поезд без вас не уйдет. Да, мы с вами не самые активные энтузиасты AI, это правда. За каждым постом Сэма Альтмана не следим. Но для того, чтобы быть успешным DS инженером, это не обязательно. Ищите свои собственные сильные стороны 🏄‍♂. А вместо чтения лент лучше попробуйте новые технологии собственными руками.

Ставьте 🐳 если пост откликнулся

#tech

В понедельник прилетел домой из Бангкока. На улице всего лишь ноль, но после месяца в футболке я ощутил акклиматизацию 🥶 каждой клеточной своего тела. Сегодня первый день, когда я перестал постоянно мерзнуть. Я конечно пропустил все, что только можно было пропустить: 2 выезда в Подмосковье, большой и локальный корпоративы, очное посещение AIJ и кажется что-то еще. Но путешествие все-таки было крутое!

На работе фичер фриз. Поэтому что успели, то успели. Добрая часть коллег ушла в отпуск, половина встреч скипается ☕. Я работаю над планами следующего года и пишу селф-ревью.

Как не нужно ставить цели на год

Наступил Новый год, а значит пришла пора ставить цели. Записывать годовые цели или нет - сложный вопрос. С одной стороны мотивационные коучи приводят исследования Йельского университета, которые говорят, что те, кто явно ставит цели, более успешны. С другой стороны публикуются опровержения самого Йельского университета, которые говорят, что никаких исследований не было 🤷‍♂️

У меня есть свои 5 копеек на этот счет. Я не сильно заморачиваюсь по целям, но вот в этом году цели мне очень помогли. Например, я таки поставил брекеты, съездил в номадскую поездку и смог получить на работе большие подтвержденные аплифты от ML. А как именно помогли я расскажу в следующем посте

Но начну я с того, как на мой взгляд цели ставить не нужно. Вот две идеи, с которыми я 😯 не согласен.

Идея 1. Нужно управлять собой как компанией.

На работе принято писать стратегии и ставить цели. Значит нужно также поступать и с собой. Мне кажется это неверная параллель.

Основная задача компании - направить в одну сторону разных людей, у которых свои взгляды, свои характеры и личные амбиции. В нас тоже конечно живет много разных я, но это не тоже что разные люди. Цель компании понятна - зарабатывать прибыль и расти/оптимизироваться. Наши личные жизненные цели непонятны, и их поиск - это серьезный философский вопрос.

Идея 2. Нужно расписать сферы жизни и по каждой поставить цель на кварталы и на год.

Концепция анализа жизни по сферам мне нравится. Но не для постановки целей, а для понимания себя.

Мне кажется, что идея ставить многочисленные цели для большинства людей вредна. Она порождает жадность, тревогу и расфокус 🤢. Заработать много денег, выучить все языки, сбросить сколько-то килограмм, посетить сколько-то стран. Так цели можно ставить и ставить, и не остановиться. Скорее всего большая часть из них не будет выполнена.

Я знаю людей, которым такой подход заходит. Но это нужно иметь специфический склад характера.

В следующем посте будет про то, как на мой взгляд цели нужно ставить. Если пост откликнулся, ставьте 🔥

#productivity@big_ledovsky

Идеи как лучше планировать год (часть 1)

Этот пост — первая часть из 2-х, где я делюсь взглядом на годовое планирование: зачем оно нужно и что должно дать на выходе. Как его проводить не так важно. Я расскажу о подходе с которым познакомился в прошлом году и который мне понравился. Также я намеренно говорю «планировать», а не «ставить цели». Цели — не главное, хотя про них тоже будет.

Идея 1. Если не заниматься планированием жизни, то жизнь будет полностью определяться внешними обстоятельствами.

А плохо ли это? Ответ зависит от ваших философских взглядов. Если ваша основная концепция - это жизнь в моменте, то нет ничего плохого быть в потоке внешних событий. Мысль в тему: если вы одновременно хотите жить в моменте и тревожитесь по планированию/целям - вы в противоречии с самим собой

Мне кажется, что обстоятельства влияют на нас гораздо больше, чем кажется на первый взгляд. Невозможно от этого избавиться. Но можно где-то выбирать что на нас влияет, где-то принимать решения. И для этого нужно планировать.

Идея 2. Чтобы направлять свою жизнь нужно иметь видение будущего.

Я думаю, что именно представление желаемого будущего определяет успех, а не просто постановка целей. Когда обстоятельства сложатся благосклонно, нужно быть готовым принять нужное решение. Если вы принимаете решение, основываясь на своем видении, а не на мгновенных эмоциях, это как раз и значит что в этот момент вы управляете ситуацией, а не обстоятельства.

Пример из жизни

Как я устроился в Авито. Я сидел в Сбере на довольно теплом месте мидл менеджера. Органически развиваясь, я дорос до head of data в одном из многочисленных трайбов, и мой фокус постепенно смещался с ML на DE, инфраструктуру и аналитику (угадайте, сколько у меня было кластеров хадупа чисто на наш трайб? 😰). У меня была амбиция заняться серьезным ML продуктом в топовой технологической компании. Однако казалось, что кому я нужен в условном Авито или Яндексе.

Я не понимал как себя продать. Думал, что меня максимум возьмут на мидла DS. Если бы у меня не было этого теплого места и имеющегося социального статуса, то я конечно отправился бы штурмовать лестницы собесов, а так это было психологически довольно сложно. Это я называю влиянием обстоятельств.

Но в какой-то момент обстоятельства сложились благоприятно: общая нестабильность 22 года, мое резюме удачно попадает моему будущему руководителю в Авито, у нас случается метч, вакансия оказывается на сложное и при этом денежное направление (adtech, аукционы), я не проседал по финансам и еще несколько факторов, которые опущу. Более того, меня формально нанимали на ставку тимлида аналитики, и на собесах я не проходил полноценный отбор DS-инженера. Неизвестно, как я бы его прошел 😄

Такая ситуация сложилась потому что у меня было видение будущего. Где-то я принимал небольшие решения в нужную сторону, где-то общаясь с людьми у нас случался метч на почве общих взглядов. Поэтому при планировании года попробуйте поискать варианты, куда бы потенциально хотели прийти. Варианты могут быть недодуманные и даже несовместимые между собой. Пусть будут, в процессе жизни они уже сложатся во что-то вполне определенное.

Продолжение в следующем посте. А пока буду благодарен за реакции, если пост откликается!

#productivity@big_ledovsky

Идеи как лучше планировать год (часть 2)

Я очень рад, что предыдущий пост вызвал у вас такой отклик 🔥 Вторая часть будет про то, зачем нужны цели. А также я расскажу про конкретную систему, которую вы сможете взять и попробовать.

Идея 3. Цели должны помогать принимать решения и приоритизировать время.

И желательно делать это не вызывая тревогу 😅

Я держу эту идею в голове, чтобы понять, работают цели или нет. В конечном счете не так важно, достигнете вы их или нет. Важно, как наличие целей изменит вашу жизнь. А ваша жизнь - это во многом время и принимаемые вами решения. Когда я планирую день, я спрашиваю себя: а как я сегодня приближусь к достижению своих целей? Когда я думаю, заняться проектом или нет, я смотрю насколько он смотрит в сторону моих целей?

Чтобы цели лучше работали, я пользуюсь методом, который подслушал в этом видео Тима Ферриса (осторожно, YouTube). Каждый день Тим выписывает идеи, что он мог бы сделать, чтобы он считал, чтобы день прошел не зря. Затем выбирает одну и бронирует под нее несколько часов для сфокусированной работы.

Система Year Compass

На прошлый Новый год я ездил на Смену в Грузию. Там было много разных крутых активностей, про которые я писал. Одна из самых полезных для меня - групповое планирование года. Настя, если ты это читаешь, спасибо тебе огромное ❤‍🔥

Планирование проходило этой системе https://yearcompass.com/ru/. Я столкнулся с ней впервые, но позже я узнал, что довольно много людей ее используют.

Суть системы в том, что вам нужно ответить на набор вопросов о прошлом и будущем годе. Да, там в том числе есть и сферы. Какие-то вопросы помогают порефлексировать над прошлым годом, какие-то помогают понять что вы хотите, а какие-то помогают поставить цели. Вопросы немного пересекаются, и вы отвечаете про одно и то же с разных сторон.

В итоге, несмотря на то, что вопросов много, у меня формируются несколько главных фокусов года, которые идут красной линией в ответах. Вот это и поможет лучше провести год.

Примеры

- Как выглядит твой идеальный год. Не бойся мечтать, освободись от ожиданий

- Эти 3 вещи я решусь попробовать

- Я побываю в этих трех местах

На сайте, который я привел, вы можете скачать буклет, который нужно распечатать. Но мне удобнее вести все в электронном виде, поэтому я прикладываю свой шаблон в markdown.

Заключение

Спасибо что дочитали эту серию постов! Если вы еще не запланировали год, но хотите, посмотрите на Year Compass.

Цели не главное, главное - это видение будущего. Спрашивайте себя, размышляйте и тревожьтесь поменьше. Всем желаю плодотворного и насыщенного года!

P.S. Как всегда буду благодарен за ваши реакции!

#productivity@big_ledovsky

Калибровки. Команда - это набор разных людей или Одинаковые критерии для всех? 🤔

В преддверии калибровок обсуждали с коллегами вопрос. С одной стороны, все мы разные. Сильная команда состоит из разных людей, со своими сильными и слабыми сторонами. С другой стороны, система оценки должна быть справедливой и работать одинаково для всех.

И вроде все сперва говорят, что да, мы за разнообразие! Но это просто красивая идея, на деле все обстоит не так! Если посмотреть на системы оценок зрелых компаний, то там вообще никакого разнообразия.

Нет, я помню, что у наших аналитиков есть тема, что нужно набрать сколько то баллов в разных технических компетенциях. Но это достаточно минорное послабление. По факту в условном Авито/Яндексе/ВК:

- Если ты DS и не делаешь сложные технические задачи, зато со всеми хорошо договариваешься - повышение получить сложно

- Если ты аналитик и тащишь жесткие задачи, но мало общаешься с людьми - повышение получить сложно

- Если ты продакт и круто управляешь проектами, но мало занимаешься стратегией - получение получить сложно

Конечно, такая жесткая система оценки присутствует лишь в небольшой когорте зрелых продуктовых компаний. Во многих компаниях решение о повышении принимает непосредственный руководитель или руководитель +1 и они могут использовать здравый смысл. И таких проблем нет.

Какая система лучше?

Но все-таки, мой опыт показывает, что компании с централизованной оценкой набирают в среднем более сильные команды. Да, нужно пытаться делать критерии более гибкими, чтобы извлечь пользу из разных людей. Но лучше если система есть. Поэтому «потери», которые возникают при уравниловке, в масштабе компании все равно оправданы.

Что делать тем, кто не хочет следовать критериям?

Ну, может быть вам ок работать и так, на среднем грейде, без супер карьеры. Может быть нужно собраться и выбить требуемый минимум по нелюбимым компетенциям (иногда это не так сложно!). А может вам нужно найти себя там, где вы сможете раскрыться: в компании с субъективной оценкой или в стартапе.

Спасибо что дочитали. Буду рад вашим реакциям 🔥, если пост откликнулся!

#career@big_ledovsky

Вечные проблемы DS-команд

Есть вещи, которые кажутся очевидными любому DS-у хотя бы с уровня мидла. Вы и ваша команда постоянно работаете над ними, стремитесь улучшать, но опыт показывает: гэпы и точки роста всё равно остаются. Это сложнее, чем кажется на первый взгляд. Я вижу это как на примере своей команды, так и в других. О чём я?

Метрики

Мы регулярно пересматриваем метрики. Они бывают разными:

- Бизнес-метрики
- Общие технические метрики
- Метрики ML-моделей

На первый взгляд, с бизнес-метриками всё должно быть просто. Но, как всегда, дьявол кроется в деталях.

Пример: метрика выручки.

- Вы уверены, что измеряете её правильно?
- Прокрашивается ли она в краткосрочных тестах?
- Если прокрашивается, сохранится ли эффект в долгосрочной перспективе?

Допустим, вы улучшили качество прогноза в пользовательском интерфейсе. Обучили новую модель, метрики качества улучшились. А что с выручкой? Вырастет ли она? Ответ даст только долгосрочный тест на несколько месяцев.

Вторая проблема — корреляция оффлайн ML-метрик и онлайн бизнес-метрик.

Например, ROC-AUC улучшился на несколько пунктов. Приведёт ли это к росту выручки? И на сколько процентов?

Бывали ли у вас случаи, когда оффлайн-метрики улучшились, а онлайн — нет? Или наоборот: на оффлайне изменения минимальны, а в онлайне бизнес-метрики резко выросли?

Ещё одна боль — это сбор базы проведённых тестов и датасетов к ним. Система меняется, старые данные теряют актуальность, и база перестаёт быть надёжной опорой.

Качество пайплайнов и оффлайн-среды

Работая над ML-продуктами, вы неизбежно сталкиваетесь с пайплайнами и симуляторами. И здесь тоже полно сложностей.

Система меняется, симуляторы "протухают". Качество датасетов в пайплайне требует регулярной валидации: что-то устарело, что-то изменилось, где-то появилась новая информация.

Постоянные доработки увеличивают время экспериментов. Когда подсчёты занимают полдня, а на дисках заканчивается место из-за артефактов, пора всё переписывать.

Выводы

Качественные метрики и надёжная оффлайн-среда — ключ к быстрому достижению аплифтов. Это позволяет ds-ам быстрее запускать эксперименты и тесты.

Но работа над этими аспектами — постоянная борьба. Здесь важно философское отношение и регулярное выделение ресурсов команды на системные задачи. Радуйтесь каждому стабилизированному компоненту, ведь это результат огромного труда.

Буду рад вашим реакциям 🔥 и историям вашей борьбы 🙃

#tech@big_ledovsky

Про систему ориентиров

Сегодня немного про философию 🧐. Навеяно разговорами в пятницу вечером за игристым. Но зато на эту тему у всех есть что сказать))

Один мой друг рассказал интересную идею/наблюдение. Люди, которые придерживаются какой-то веры, имеют крепкие ориентиры в жизни. Условно, нужно иметь какие-то аксиомы, базовые установки, которые принимаются без доказательств. На основе этих аксиом можно выстраивать взгляды на жизнь, выводя дальше и дальше какие-то убеждения.

У многих людей с современным мировоззрением базовые установки слабые. Они пытаются строить на них картину мира, но в период турбулентности они рушатся. Например, верит человек в демократические ценности, например в право собственности. А потом наступает кризис и его счета в зарубежных банках блокируются. Что делать? Установки рушатся. В этот момент наступают сложности, как вообще жить.

Идея классная, но у меня немного другая точка зрения. Традиционные убеждения - это что-то вроде автопилота. Достаточно хорошего, т.к. если взять базовые религии, то они существуют давно и прошли проверку временем. Однако это все-таки автопилот. И если хочется самому научиться водить, то от автопилота нужно отказываться и пробовать переходить на ручное управление. Т.е. самому размышлять над базовыми установками и самому выбирать что принимать на веру (а принимать что-то на веру все равно придется). Если вы начинаете сами водить, то наверняка в начале ваши навыки будут на уровне джуна и получаться будет хуже автопилота, но по-другому не научиться. Будут и ошибки и неверные суждения. Но в конечном счете вести руль жизни самому - это круто. Важно - не думать, что твои текущие установки идеальные и быть способным их менять.

Не хочу писать про собственные конкретные установки может быть что-то раскрою в комментариях, но могу сказать, что по крайней мере никогда в жизни я не был близок к выгоранию и всегда был рад тому, чем занимаюсь.

Буду рад вашим реакциям ❤️ всем хороших выходных!