Warning: Undefined array key 0 in /var/www/tgoop/function.php on line 65

Warning: Trying to access array offset on value of type null in /var/www/tgoop/function.php on line 65
48 - Telegram Web
Telegram Web
Всем привет! Со старта канала прошло 2 месяца и с нами уже больше 800 подписчиков, спасибо вам!❤️

Делимся подборкой лучших публикаций:

📊 #BI #Redash
- Переосмысливаем BI в большой компании
- Сложности перехода из Tableau в Redash (part 1)

🆎 #AB #Trisigma
- Как масштабировать A/B-эксперименты
- Самый важный SQL-запрос в моей карьере или как посчитать MDE правильно

💾 #Databases #Vertica
- Что посмотреть про внутренности распределенных СУБД
- Как OOM киллер Vertica убивал
- Как база может проиграть алгоритму на коленке
- Конкурентная работа с памятью или загадка потерянного времени

🔎 #DQ
- Риск-ориентированный подход к DQ
- Что можно узнать из анализа инцидентов логирования критических событий

🌊 #Clickstream
- Платформа логирования аналитических событий
- Как можно анализировать внутренний продукт с использованием логирования

🕸 #Airflow
- Airflow Declarative: как не дать себя опутать

🤝 Общее
- О чем этот канал
- Записи подкаста про аналитическую платформу
- Как мы мониторим аналитическую платформу

Поделитесь, какие темы были бы интересны вам?
Всем привет!

Сегодня расскажем о том, как мы обновляли версию ОС на кластере вертики, и почему это стало целым приключением.

Зачем мы это делали? Мы хотели полечить баг с падением из-за старой версии glibc, и у нас есть требования к минимальной поддерживаемой версии софта в компании. Погнали!

#Vertica
Всем привет!

Как думаете, какой должна быть скорость загрузки дашборда? Мне кажется, что максимальной 🙂 Но быстро извлекать данные из источников получается не всегда: иногда БД находятся под нагрузкой, а иногда ваш запрос громоздкий и сложный. Лидеры рынка предлагают функционал по извлечению данных в собственное быстрое хранилище, например, в Tableau есть функционал Exctract.

В нашей BI-системе мы сделали свои extract'ы, а для наглядности записали короткое видео, как они работают и как наши пользователи могут их создавать. Ставь лайк, если хочешь больше лайф демо наших систем 😉

#Redash
Всем привет! Сегодня мы побольше расскажем о себе: поделимся нашей ролью в компании, вызовами и попробуем найти новых коллег 😊

Организационная структура Авито состоит из множества кросс-функциональных команд (юнитов), которые соединяются в кластеры. Analytics Platform — это кластер из сотни человек, который разрабатывает платформу для упрощения решения аналитических задач в компании.

Аналитическая платформа — ядро развития бизнеса Авито с 2013 года. Тогда в компанию пришел Иван Гуз и внедрил data-центричный подход*. С тех пор на аналитическую платформу завязаны многие процессы компании: от А/Б тестов и принятия решений на метриках до процессов маркетинга и продаж, а Иван стал управляющим партнером компании.

Ядровые пользователи платформы — более 300 аналитиков, которые ежедневно 80% рабочего времени проводят в ней. При этом «на чтение» с платформой работают все сотрудники: от управляющих директоров до специалистов операционных подразделений (технической поддержки, модерации). Таких пользователей уже тысячи.

Мы выделяем у платформы 3 ключевых направления развития до 2026 года:

🕘 Стабильность.
Аналитика в Авито зарождалась в централизованном DWH, на котором строились как критичные для бизнеса процессы, так и исследовательская работа. Это позволило сделать быстрый старт и было эффективно на первых этапах, но теперь мы хотим перейти на следующий уровень. Мы внедряем распределенный Data LakeHouse с хранением данных в Ceph и вычислении в Trino. Образ результата — платформа для платформ с прозрачными SLA для бизнес-потребителей, изолированными контурами и владельцами. Главная метрика на текущий момент — суммарное отставание по готовности данных отчета с ключевыми метриками компании от 09:00. Суммарное отставание в квартал мы хотим сократить с дней до часов.

😄 Упрощение аналитических задач.
Долгое время нашей целью было развитие подхода self-service, когда каждый аналитик способен пройти весь процесс от сбора данных, проведения анализа и до создания финального регулярно обновляемого отчета без дополнительного привлечения дата инженеров. И мы добились этого, сейчас доля решаемых самостоятельно задач выше 90%! Теперь мы фокусируемся на снижении доли времени работы аналитика, которое он тратит на технические задачи: написание и оптимизация кода, поиск и валидация данных, создание отчетов и документирование исследований. В платформе зародилось более 30 инструментов, заточенных под конкретные задачи, мы делаем ставки на продуктовизацию и демократизацию - хотим прийти к ограниченному набору продуктов, решающих сквозные пользовательские сценарии. Главная метричная цель - менее 20% времени аналитика на технические задачи.

🚀 Вывод продукта на внешний рынок.
С 2013 года мы накопили в компании серьезную экспертизу по развитию инструментов для аналитики. Мы видим, что многие компании решают похожие проблемы, но не готовы инвестировать в большую in-house разработку (это долго и сложно), при этом хорошие вендорские решения дорогие и ушли из РФ. Мы уже начали пилоты с компаниями по интеграции платформы Trisigma. Цель — подключить 50 клиентов и выйти на окупаемость B2B value-стрима.

Для достижения этих больших целей мы ищем инженеров разных уровней (от Junior до Senior) и профилей (Data Engineer, SRE, Backend, Frontend, QA), а также технических руководителей (команды от 5 до 25 чел).

💌 Смотрите вакансии по ссылке, откликайтесь или пишите мне @nikolaevgenii и нашему рекрутеру @aerfulix!

*пожалуйста, воспользуйтесь VPN, чтобы открыть статью
Сегодняшний пост снова на волнующую многих тему A/B-тестов.

Пару месяцев назад мы поделились лайфхаком: как посчитать MDE без python на чистом SQL. В этот раз Данила Леньков развивает тему: как в SQL проанализировать результаты эксперимента и посчитать t-test.

#AB
Почему мы идем в Data Lakehouse?

В этом посте мы рассмотрим варианты построения аналитического хранилища данных и представим концепцию Data Lakehouse.

Хранилище данных — это ядро аналитической платформы, которое состоит из 6 компонентов:
- Storage — собственно, где хранятся данные.
- Storage Engine — движок, отвечающий за физическую оптимизацию хранения данных.
- Compute Engine — движок, отвечающий за выполнение запросов и обработку данных.
- Catalog — система хранения метаданных (таблицы, схемы).
- Table Format — система, обеспечивающая SQL-like синтаксис работы с табличными данными.
- File Format — формат хранения данных (колоночные, строковые, ...).

Первая концепция Data Warehouse (DWH) появилась еще в 1980-х годах. В концепции описанные выше компоненты содержатся в одной коробке и максимально заточены друг под друга. Такой вариант удобен для аналитика: единая точка входа, хорошо работают аналитические запросы, просто управлять данными, схема валидируется при записи. При этом DWH редко приспособлен для решения data science задач: не приспособлен к ML-нагрузке и хранит только структурированные данные. С точки зрения администратора такое хранилище легко конфигурировать, при этом оно лишено гибкости. Один из главных недостатков — на больших объемах хранилище слишком дорого масштабировать (Compute и Storage движки соединены), подменить Compute — нельзя, всё закрыто через вендор-лок.

В 2011 году компания Pentaho представила подход Data Lake. Это парадоксально, но в таком подходе в хранилище отсутствует Storage Engine. Как преимущество — данные хранятся в открытых форматах и на дешевом железе, в хранилище может быть несколько Compute Engine (решается проблема масштабирования). Также Data Lake отлично заточен на решение data science задач: он хранит неструктурированные данные и приспособлен к ML-нагрузке. При этом такое хранилище существенно сложнее поддерживать: нужно выбирать, собирать и затачивать друг под друга компоненты. Аналитику приходится работать с неструктурированными данными и мириться с плохим перформансом запросов по сравнению с DWH.

Следующей революцией в мире аналитических хранилищ данных стала парадигма Data Lakehouse. В эту сторону двигались некоторые Big Tech компании, а термин ввели Jellyvision в 2017 году. Из названия мы понимаем, что этот подход призван совместить плюсы двух предыдущих концепций. Lakehouse предоставляет DWH-like интерфейс, предоставляет сопоставимую скорость выполнения запросов. При этом интерфейс построен на открытых технологиях, дешевом железе и приспособлен для ML-задач, как Data Lake. Разумеется, такой подход сложнее с точки зрения администрирования, но это стоит того, в особенности на больших объемах.
Хотите узнать подробнее про наш Data Lakehouse? Ставьте 👍

#Databases
Как провести эксперимент в офлайне на высоконагруженном сервисе или переиспользовать его внутреннюю логику для аналитики и ML?

Ваня Ахлестин, наш биг-дата инженер, в статье расскажет, как вписать кусочек сервиса на Go в стандартный бигдата батч-стек в виде Kafka/Hadoop/PySpark. Для этого он приготовил демо-проект, который сможет переиспользовать каждый.
Как строить план развития, когда ты тимлид?

Всем привет, я Денис Пехтерев, руководитель команды аналитики в блоке монетизации.

Сегодня я решил поделиться с вами тем, как подхожу к формированию своего индивидуального плана развития (ИПР) как менеджер.

Зачем я это делаю?

Это регулярный процесс рефлексии, который заставляет меня собрать обратную связь, переработать её и наложить на свои будущие проекты. Следовательно помогает мне куда эффективнее реализовывать те проекты, в которых я заинтересован, а значит и расти в компании.

Что конкретно делаю?

1. Собираю обратную связь у руководителя и бизнес партнёров (UL, CL) по тому, чего мне не хватает и наоборот, где мои сильные стороны.
У ребят на моей роли и следующей узнаю, что полезного они проходили, слушали, читали за последние 2 года, что им помогло в работе;

2. Смотрю на карту компетенций менеджеров, а именно, какие вещи мне нужно прокачивать на следующей роли vs моя текущая роль;

3. Накладываю п.1 и п.2 на тот список проектов, который у меня есть в OKR. Это помогает мне понять, а как я могу реализовать недостающие компетенции и прокачать свои слабые/сильные стороны через призму имеющихся на столе проектов;

4. Вместе с руководителем (или сам) структурирую получившееся в п.1/п.2/п.3 и стараюсь выделить общие паттерны.

Пример: мне с руководителем предстоит написать стратегию + моему бизнес партнёру, продуктовому лиду, нужен будет кусок аналитической стратегии. Окей, записываю в свой план: стратегическое мышление/видение, составление стратегии.

Пример 2: Люблю делиться знаниями, т.к. это помогает их лучше переварить. Соответственно собирался выступать во вне в этом полугодии (ведущим, подкаст и ост) - прошёл курс по Публичным выступлениям (внутренний Авито, он реально топ).


5. Обращаюсь к TnD партнёру, у нас это прекрасная Аня. К ней я прихожу с:
a. С названием курсов, если сам собрал у коллег ОС, что они крутые;
b. С названием компетенций, которые я хочу прокачать;
c. С общими проблемами, которые я хочу закрыть.

6. Далее Аня уходит за подбором курсов/менторов под те точки роста, которые я выделил выше. Когда Аня возвращается со списком, мы вместе определяем:
— Их приоритетность, т.к. решать в итоге мне, что выбирать из меню тех возможностей, которые TnD партнёр мне озвучил;
— Понимаю их влияние на рост людей по отзывам/комментариям тех, кто их проходил. Отсюда понимаю, подходит ли формат лично мне;
— Оцениваю вместимость этих активностей в меня - успею ли я везде со всеми проектами.

7. Выбираю курсы и прохожу до конца!
Если я понимаю из п.1-п.4 свою мотивацию (= новые навыки, рост в компании), в п.5/6 мне их подобрали, и я подписался - значит теперь я комичусь их проходить и выносить максимальную пользу.
При этом бывают и случаи, когда из всего курса я не слушал только 2 модуля из 4. Да, значит я послушаю только их, остальные закрою на прошлых навыках, ведь время у меня не резиновое.

Поделюсь подборкой курсов для аналитиков в следующем посте, до встречи!

#analytics
Запуск нового продвижения с красными тестами на пилоте, ещё и на 500 пользователей — как это было? Ответ на нашем НЕмитапе!

В программе доклад двух старших аналитиков продукта из команды Analytics&Monetisation, Юлии Голубевой и Евгении Мурзаевой. Расскажут обо всём в подробностях: от первых A/В-тестов в ситуациях, когда цена ошибки высока, до отслеживания результатов после масштабирования.

Полезные материалы для изучения:
Доклад «Как мы используем теорию игр и data science в монетизационных продуктах»
Доклад «Как мы запускали новую модель продвижения — матчинг»
Доклад «Аналитика нового продукта под ключ»
Статья «Causal Inference for The Brave and True - Propensity Score»
Статья «A Review of Propensity Score Modeling Approaches»
Статьи «Как улучшить ваши A/B-тесты: лайфхаки аналитиков Авито» — Часть 1 и Часть 2
Команда Trisigma в Авито развивает свою платформу проведения A/B-тестов. Мы прошли большой путь: вышли на темп 4000+ экспериментов в год, из них 350+ одновременно, обрабатывая 18B+ событий в день.

А знаете, сколько времени тратят на анализ экспериментов наши аналитики? Нисколько.

Никаких секретов, только Trisigma. Это платформа автоматизации A/B-тестирования, созданная нашими инженерами. Подробнее о преимуществах и алгоритме работы Trisigma — в обзоре аналитика Артёма Дронова.

Вопросы, предложения, заявки на демо — всё принимается.
2025/02/25 10:17:11
Back to Top
HTML Embed Code: