Типичный день, когда я опять ничего не успеваю

И все же немного успели вписаться с командой в небольшой AI Coding Hackathon внутри Яндекса, где соревновались в создании легких сервисов с нуля. Буквально очень непростая задача, потому что надо и придумать идею, и вовремя останавливать модельку, вчитываться в огромный план целого дизайна, нагегерить код, убедиться, что он не работает, пойти снова собрать новый промпт, пойти снова нагегерить дизайн, снова попросить написать код. И потом отлаживать баги. И все это надо успеть за 3 часа!

Ааааааааааа 🔥🔥🔥

Просто жесть. Я настолько привык работать с привычными вещами, что это далось очень тяжело. Например, жить с одним окружением и ничего не менять (плохой пример, не следуйте ему. Должно быть одну окружение на один проект). Мне даже пришлось попотеть с установкой нового окружения😹

А сейчас уже еду на День Рождения, чтобы там посидеть за компом и запустить расчеты 😕

Но это очень драйвит и очень интересно. Вот когда скучать, когда тебе надо все успеть, а неумение нельзя - приходится выкручиваться!

Надеюсь у вас такой же кайф от вашей деятельности😹

P.S. На основе ваших комментариев подредачил предыдущий пост. Рекомендую еще раз ознакомиться - по мне получилось интересно, когда вы делитесь своими постами. Мб как-нибудь провернем это дело еще раз.

#life

Работа в стол

Вспомнили тут на встрече одну модельку, которую я пилил в прошлом году вечерами в свободное от работы время. Зашел в папку, там 17 файликов, несколько подходов к модели, работа с данными и даже непростая реализация кросс-валидации.

Буквально доготовили модельку, хотели приготовить ее для прода, и вдруг решили еще потратить время на рисеч для совсем другого подхода на других дискретностях данных. В итоге модельку не выкатили

Норм метрики, понятная архитектура, полупродовый код. Но в продукте нужно менять подход: подобранная гранулярность уже не устраивает, нужно идти глубже.

Знакомо это чувство?

Когда сидишь вечерами-ночами, когда модель почти готова, когда на выходных головой перебираешь фичи. Когда блин задача реально интересная, и ждешь какой-то результат.

База

▫️Давайте выкатим, почти добили, может кому-то и пригодится для выводов
▫️А точно нужны эти новые гранулярности? Без них жить нельзя?
▫️Был бы я менеджером бизнесовым, такой фигней не занимался бы

Почему тащить дальше невыгодно?

1️⃣Коллеги не будут мотивированы работать без результата
2️⃣Техдолг только возрастет и будет просто занимать наше внимание, при этом не забываем про костыли поверх костылей
3️⃣На допиливание фичи может уйти много времени, которое было бы полезно применить на другие активности
4️⃣Чем больше вкладываешь, тем сложнее остановиться

Что можно было сделать лучше?

▫️Не закладывать такие маленькие ресурсы и сроки, для серьезного исследования нужно много времени
▫️Правильно рассчитать усилия и предпосылки с точки зрения менеджмента
▫️Сравнивать метрики не только с точки зрения эффективности алгоритма, но и с точки зрения бизнеса

А действительно ли это исследование нам было необходимо?

▫️Соответствуют ли цели исследования стратегическому движению компании?
▫️Действительно ли задача требует глубокого исследования?
▫️Оценивался ли финансовый эффект/ROI этого исследования?

Как сделать хорошо

1️⃣Заранее прикидываем порог метрики и срок исследования: "если через месяц accuracy < 80%, стопим"
2️⃣Делимся прогрессом и видением метрик с бизнесом
3️⃣Оцениваем косты и затраты на проект и его поддержку
4️⃣Готовим MVP и быстро итерируемся

Ну как минимум, работа в стол дает нам хороший опыт: прокачиваемся в нужном нам направлении, при этом можем переиспользовать в других проектах топовые решения, и даже сразу набиваем шишки на подводных камнях

Наша задача здесь - это не забить на эмоции, а прожить их и сделать конструктивные выводы

И все же тяжело видеть, как месяцы работы уходят в в стол. Важно извлекать уроки и не повторять системные ошибки. Вообще, статистика говорит, что это ок. В бигтехах например не взлетают сотни проектов. Сколько стартапов закрывается до получения первого дохода!

Суть в том, как быстро мы учимся.

Чем быстрее итерируемся, тем лучше. Не взлетело? Го дальше. Гипотеза не сработала? Идеи дальше. В конце концов что-то взлетит. Статистика на нашей стороне.

Кстати, то же самое работает и с собеседованиями

У вас были работы в стол?

#softskills

Что заботать от ШАДа

Тут недавно закончились вступительные в Школу Анализа Данных. Слава богу, что мне не надо поступать, а можно просто посмотреть лекции😹 хотя например в одно время я подумывал влететь в обучение, но решил не рисковать нагрузкой, хотя любллю все неуспевать.

Но тем не менее от самих коллег из ШАДа есть годные открытые ресурсы, и ниже давайте я приложу небольшой списочек.

▫️Открытый учебник по машинному обучению

Интенсивы:

1️⃣CV week - полный упор на диффузионные генеративные модельки. По сути курсы ведут те самые ребята, кто создает YandexART. Перед диффузионками я бы конечно сначала порекомендовал вкатиться в классический CV, но это интенсив, а не жесткий курс, поэтому смотрите сами по настроению (может быть больно).

2️⃣GPT week - тут прям база базовая про LLMки: сначала претрейн, потом оценка качества и бенчи, ну а после алайменты и инференсы моделек. Есть подготовительная лекция с введением в большие модельки, поэтому предложил бы все же сильно не запариваться с базой. Думаю легкого понимания, что происходит в NLP, будет норм для базы. Но очевидно, что поботать было бы хорошо. Меньше знаешь - крепче меньше спишь - приходится ботать.

3️⃣SRE week - хороший кстати интенсив про высоконагруженные системы и как ими заниматься, потому что на практике такое потыкать почти нереально, поэтому хоть что-то узнать от практикующих коллег из индустрии просто топ. Там и про поломки и их обнаружение, понимание необходимости жесткого погружения в языки программирования, и даже зачем нужны дежурства, а еще как процессно проводить работу SRE.

4️⃣Big DWH week - плотная база про распределенные БД, и в частности YT, потоковую обработку и логирование. Есть даже лекция про построение своего первого Map Reduce и даже есть немного про графовое DWH!

5️⃣AB week - тут еще дополнительная инфа о современных методах анализа, включая бутстрап, линеаризацию и CUPED. Также пропроводить А/В‑тесты, их анализ и формулировку бизнес‑решений.

К сожалению из курсов в открытом доступе есть только древние материалы, но я их все же приложу. И в первую очередь рекомендую пробежаться по гитхабу, потому что там хотя бы можно потыкать презентации и код из свежих курсов.

▫️Ссылка на гитхаб с курсами ШАДа

+ дополнительно к этому можно поискать в репозиториях гитхаба в целом по ключевым словам, например "shad", потому что там может вылезти материалы с чьего-нибудь курса

Из выложенных когда-то курсов я нашел саму базу, и посмотрите как давно это было:

▫️Машинное обучение от Константина Воронцова
▫️Глубокое обучение с Виктором Лемпицким
▫️Алгоритмы с Максимом Бабенко

Если у вас есть желание погрузиться в эту атмосферу и послушать довольно потные курсы, то это ок. Но вот например по сравнению со свежей информацией по интенсивам, здесь довольно много моментов, которые могли устраеть (хотя алгоритмы не устареют никогда!). Короче, на свой страх и риск, но я бы рекомендовал слушать свежие курсы, потому что там современный взгляд.

Тут у нас за один год в индустрии происходит столько всего, что в голову еле умещается, а прикиньте как потом это все еще нагонять

▫️Все же докину еще интересную подборку (не относится к ШАДу) в виде Базы Знаний от Яндекс Образования

Надеюсь для вас нашлось что-то полезное, кидайте в коменты еще интересные открытые курсы ШАДа, по возможности дополню пост.

P.S. Намеренно не докинул тренировки по алгоритмам от Яндекса, потому стотинка кажется, что это не ШАД, но по ним сделаем отдельную подборочку.

#ml #dl #database #algo #llm #cv #courses

Пространственные признаки для линейной регрессии и катбуста

Допустим, мы прочитали пост с задачами в геоаналитике (либо этот) и даже пробежались по комментариям. И приняли решение затащить какую-либо задачку с использованием машинного обучения. У нас тут важна работа с координатами, иначе смысл тут применять геоаналитику?

И если мы например используем kNN, то координаты можно подавать в чистом виде, но нужно помнить о нюансах их использования.

С другой стороны, когда мы используем чуть более сложные модельки, мы можем столкнуться с тем, что просто координаты мы в них засунуть не можем (технически можем и технически даже что-то заработает), так как есть риск недополучить всю возможную пользу.

Какие нюансы:

1️⃣Нелинейная корреляция/зависимость - цена квадратного метра в Москве не зависит линейно от lat и lon. Скорее, она зависит от близости к центру, метро, паркам, престижности района – и представьте, как всё это очень сложно выучить через долготу и широту. Линейная регрессия тут точно не затащит, но у катбуста хотя бы есть шансы. Но если мы например сделаем некоторую предобработку признаков и докинем инфу о наличии тех же объектов через координаты, то это очень упростит жизнь моделькам.

2️⃣Пространственная автокорреляция - объекты, расположенные близко друг к другу, обычно более похожи (например, цены квадратного метра в соседних домах или ЖК). Когда kNN это может учесть через близость, линейная регрессия так просто это не выучит, ДУШНИЛА МОД ОН причем остатки будут пространственно скоррелированы, что нарушает её предпосылки ДУШНИЛА МОД ОФФ. Опять же, через подготовку признаков (хотя бы посчитать расстояние), мы сможем это учесть.

3️⃣Интерпретируемость - здесь я думаю для всех очевидно, что бизнесу будет довольно сложно объяснить физический смысл у коэффициента при широте или долготе. "Чем мы севернее, тем ...". Важна не сама координата точки, а что ее окружает.

Что можно использовать как фичи:

1️⃣UTM-проекция возможно нам не пригодится, но давайте просто повторим:

▫️Условно делаем преобразование lat, lon в метры в x,y через разные библиотечки
▫️Можно также сделать преобразования над координатами - что-то типа X^2, Y^2, X*Y.

2️⃣Расстояния до ключевых объектов (Points of Interest - POI)

▫️Расстояние до ближайшего метро, парка, школы, ТЦ, центра города
▫️Используем Haversine (для lat, lon) или Евклидово (для UTM)
▫️Можно взять не только до ближайшего, но и до 2-го, 3-го ближайшего, или среднее расстояние до N ближайших (если любите упороться)

3️⃣Плотность и количество объектов в радиусе/полигоне

▫️Сколько кафе/банкоматов/остановок в радиусе 500м/полигоне
▫️Средняя плотность населения в полигоне

4️⃣Характеристики ближайших соседей (не kNN, а именно контекст)

▫️Средняя цена объектов в радиусе X км
▫️Тип застройки у ближайших зданий

5️⃣Категориальные признаки (база, но давайте повторим)

▫️Название района, административный округ
▫️Зона по генплану (жилая, промышленная, рекреационная).
▫️Для LR можно использовать OHE или MTE, для CatBoost просто прокидываем категориальные данные как есть (главное не забыть их указать для модели)

6️⃣Комбинация признаков и Feature Scaling для линейной регрессии

▫️Например, берем перемножения признаков как новую фичу = расстояние_до_метро * расстояние_до_тц
▫️Все числовые признаки приводим к одному масштабу через StandardScaler или MinMaxScaler

Не забываем:

1️⃣Пространственная кросс-валидация

▫️Данные нужно бить на фолды пространственно (по регионам), чтобы избежать утечки из-за пространственной автокорреляции
▫️Допустим, GroupKFold по ID района/квадрата

2️⃣Data Leak

▫️Особенно аккуратно с фичами, основанными на целевой переменной
▫️Всегда топлю за проверки, чтобы для каждой точки в трейне мы использовали информацию только из прошлого или из объектов, которые не зависят от её собственной целевой переменной

Помним, и для линейной регрессии, и для CatBoost в геоаналитике и вообще всегда очень важна подготовка признаков. Так как lat, lon в чистом виде может не взлететь - поэтому давайте заниматься генерацией признаков!

Ну и дальше улучшать модели

#ml #geoanalytics