tgoop.com/book_cube/3078
Last Update:
Data завтрак в Т-Банке в начале января 2025 года (Рубрика #Data)
Наконец-то я смог посмотреть доклады с data-завтрака, что был почти месяц назад. На нем выступл Дима Аношин, автор канала "Инжиниринг данных" (@rockyourdata), а также Валера Поляков, наш директор по данным. Я немного поучаствовал в организации мероприятия, но посетить не смог из-за того, что летел домой из Шри-Ланки. А темы были интересные:
- Дима рассказывал о том, как выглядят data проекты в западных компаниях и на каких технологиях они строятся, благо у Димы есть опыт работы в Amazon, Microsoft и целом ряде компаний поменьше
- Валера рассказывал про эволюцию подходов Т-Банка к работе с данными с начала времен и до текущего момента.
Ну давайте я кратенько расскажу про каждый из докладов
1) Современные облачные решения для аналитики и их значимость для бизнеса от Димы Аношина
- Начал Дима с рассказа о значении аналитики для увеличения прибыли и снижения затрат.
- Дальше он рассказал о концептуальных аналитических решениях, которые базово состоят из источников, систем хранения и обработки данных.
- Дима поделился 11 реальными проектами, в которых он участвовал за последние десять лет. По этим проектам было наглядно видны тренды - переход от on-prem в cloud, переход от all-in-one в separate storage и compute, восход облачных аналитических решений snowflake и databricks, оформление роли data engineer как людей, что делают инфру под dataops
2) История платформы данных в Т: от SAS до PaaS от Валеры Полякова
История развития инфраструктуры данных с 2007 года.
- Эпоха SAS (2007 - 2011): Работа с проприетарными инструментами SAS до перехода на Greenplum.
- Эпоха Greenplum (2012 - 2016): Переход на MPP базы данных, выбор Greenplum, масштабирование инфраструктуры. Тут еще был поворот не туда с SAP BO в 2014 году:)
- Эпоха роста сложности (2017 - 2021): Здесь компания активно росла и предел масштабирования для одного кластера Greenplum был достигнут. Дальше рост через был внедрение мультикластерности и собственных решений для репликации данных. Это привело к стремительному росту нагрузки и сложностей с управлением данными.
- Эпоха изменений (2022 - 2026): Эпоха изменений, что принесла современные подходы
-- Демократизация инженеринга данных и платформизация.
-- Переход к облачной нативности платформы данных с использованием мультитенантной архитектуры.
-- Внедрение концепции "данные как продукт" с акцентом на метрики качества.
- Изменения несут за собой новые вызовы, с которыми мы работаем прямо сейчас
-- Вопросы стандартизации данных между доменами.
-- Важность централизованных практик для методологии работы с данными.
-- Баланс между тактическими задачами и стратегическим развитием.
В общем и целом, data-завтрак по моему мнению получился отличным, доклады плотными - надеюсь, что это превратится в традицию и мои коллеги из платформы данных еще не раз будут радовать нас интересными и полезными мероприятиями.
P.S.
В конце прошлого года я рассказывал доклад про эволюцию архитектуры в Т, который очень похож по структуре и логике повествования на Валерин доклад. В итоге, я ловил моментами дежавю, когда слушал этот доклад про эволюцию платформы данных:)
#Engineering #Data #Architecture #Storytelling
BY Книжный куб
Share with your friend now:
tgoop.com/book_cube/3078