С чего начинается хорошая аналитика?

В прошлом посте я рассказывал, почему без EDA нельзя делать ни аналитику, ни машинное обучение. Даже если продакт стоит над душой и требует цифры «ещё вчера». Теперь давай разберём первый и самый недооценённый шаг в исследовательском анализе: осмотр данных.

Представь, что ты лезешь в базу и... сразу пишешь groupby() или строишь график? Это ловушка. Начинать нужно не с расчётов, а с банального знакомства с тем, что у тебя вообще в руках. Осмотр данных — это как включить свет в темной комнате. Сразу видно, где пыльно, а где стоит тумбочка, об которую легко споткнуться.

Первым делом смотри на объем данных: df.shape покажет, сколько строк и колонок. Иногда там вообще пара десятков строк — и это уже повод позвать дата-инженера.
Дальше — названия колонок. Через df.columns можно заметить лишние пробелы, странные символы, дубли названий. Здесь же удобно сразу стандартизировать названия: убрать русские слова и привести к единому стилю ("snake_case" ван лав). Такие вещи не бросаются в глаза, но потом ломают пайплайн.

Теперь — в бой идет df.info(). Это твой лучший друг. Он покажет:

▪️какие типы данных у колонок,
▪️сколько ненулевых значений,
▪️сколько памяти жрёт датафрейм.

Обрати внимание: если в колонке написано, что у неё 80 000 непустых значений, а в df.shape[0] у тебя 100 000 — значит, 20% пропусков. Это серьёзно.
Ещё один лайфхак: если колонка выглядит пустой, но info() говорит, что там всё заполнено — проверь, не строки ли там вроде " " или "None". Это визуальные, а не настоящие пропуски. Так что df.replace() тебе в помощь.

Если всё типы данных соответствуют ожиданиям — отлично. Если нет — можно наткнуться на неприятности. Например, object вместо чисел или дат — и ты не сможешь нормально группировать, фильтровать, делить на категории. В таких случаях сразу меняй тип или уточняй источник.

Следом подключай df.describe(). Это быстрый способ понять, как «живут» числовые данные. Сравни среднее и медиану — это может подсветить асимметричное распределение. Проверь минимум и максимум — там часто сидят выбросы или ошибки: отрицательные значения там, где их быть не должно, нули в колонке с деньгами, тысячи категорий у рейтинга от 1 до 5.

Дополнительно пригодится .nunique(): иногда колонка кажется категориальной, а там каждый второй элемент уникален. Это уже почти ID, и скорее всего — не то, что ты хотел анализировать.

И не забывай смотреть глазами. df.head(), df.tail() — быстрый способ поймать неявные проблемы. Например, даты, которые лежат строками. Или списки внутри ячеек. Или дубли с разницей в один символ. В табличке может быть много неожиданного — особенно если её собирали в два этапа, три человека, а выгружал четвёртый.

Осмотр данных — это про внимательность и здравый смысл. Здесь ты ловишь грубые баги, структурные проблемы и мусор, который может незаметно утащить твою аналитику не туда. А ещё — экономишь себе кучу времени, потому что не придется всё переделывать после того, как уже построен отчёт.

В следующем посте поговорим про пропуски и дубликаты. Ставь лайк, если тема интересна.

#eda

🌟 Новый эпизод нашего подкаста уже доступен на всех платформах! 🌟

В этом выпуске мы с Юлей Гуровой обсуждаем олимпиады по аналитике, в частности олимпиаду по анализу данных DANO.

Почему это так здорово для школьников? Участие в олимпиадах развивает аналитические способности, помогает лучше понять данные и навыки их обработки. Дети получают возможность проявлять свои таланты и углубляться в мир технологий и анализа.

Но это интересно также и взрослым! Понимание того, как развивается новое поколение аналитиков и какие навыки они приобретают, может быть полезно для карьерной ориентации. Эти олимпиады являются отличной площадкой для обмена знаниями и опытом между разными поколениями.

Не упустите шанс послушать наш новый эпизод! Делитесь своими впечатлениями и мыслями в комментариях. Слушайте подкаст по ссылкам

Яндекс.Музыка
ВК
Apple Podcasts
Telegram-плеер
остальные платформы

🔬 Наука + бизнес = Лаборатория от Т-банка!

Всем привет 👋🏻

Уже в этот четверг 29 мая на aha’25 открываем «Лабораторию» — зал, где данные становятся доказательствами, а формулы — инструментом достижения целей аналитика.

Что будет в программе?
🧪 Кейсы с математикой в ядре: Multi-CUPED, конджоинт-анализ, байесовские сети — и как это взрывает метрики в реальных продуктах.
🧪 Спецвыпуск подкаста «Это считается»: разберём, как аналитики применяют математику на практике (с историями, шутками и внезапными инсайтами).
🧪 DataLab-эксперименты: «смешайте» методы, чтобы решить задачу — как в настоящей лаборатории.

А ещё сможете :
⚡️ Проверить себя в математических задачах
⚡️ Получить консультацию от экспертов — разберём ваши кейсы с упором на метрики и методы
⚡️ Выиграть мерч. Куда же без него


Программа уже ждёт на сайте

А мы ждем вас в зале Физика — проверим, насколько ваша аналитика «математична».

🚀 Кчау! Завтра выходит новый выпуск нашего подкаста, и он особенный! 🎙

На этот раз мы были на технической конференции по продуктовой аналитике Aha 2025 и записали этот спецвыпуск прямо со сцены, перед живой аудиторией! 🎉

Приготовьтесь к увлекательному разговору на околонаучные темы! Мы обсудим, какие математические предметы из университета действительно пригодились нам в жизни и на работе, приводя конкретные кейсы. 📊

Особыми гостями стали Кирилл Кочнев, руководитель направления продуктовой аналитики в HeadHunter, и Жора Сукасян, руководитель экосистемной аналитики в Т-Банке. Мы вместе вспомнили прошлое и заглянули в мир RnD, открывая новые горизонты для аналитиков! 🔍

Похоже, у нас появляется хорошая привычка — записывать специальные выпуски на Aha. Не пропустите этот необычный эпизод! Ждите завтра на всех подкаст платформах.

А пока пара фоточек с конфы для прогрева

#анонсы #Aha2025

🌟 Друзья! С длинными выходными на носу у вас есть отличная возможность ознакомиться с познавательными материалами из наших выступлений. 👩‍🏫👨‍🏫

С недавней конференции Aha мы собрали Плейлист Aha 📺 с докладами из нашей Лаборатории и спешим поделиться им с вами! 🎤✨

Мы будем рады вашим комментариям и отзывам о докладах! Давайте сделаем эти праздники интересными и полезными вместе! 🎉 #Aha2025 #доклады