Андрей in Data jobs

Привет, датажопсы! Ищу дата инженера в свою команду в Купер (в ближайшем будущем ecom.tech). Занимаемся дата лейком. У нас сейчас Trino + icebeg, Spark на Scala, Airflow. Ежемесячно нашим Trino пользуется 100 человек и десятки сервисных аккаунтов: аналитики, ML, BI, разрабы сервисов, некоторые прошаренные менеджеры. Мы адаптировали CDC на базе Debezium + Spark Streaming (в iceberg с эволюцией схемы). Сейчас напильником дорабатываем под внутрянку компании Kafka Connect для загрузки из Kafka и реляционок в iceberg, уже в этом году будем катить в прод. Пилим авторизацию доступа к данным через трино вплоть до ограничения отдельных колонок.

Можно в лс задать любые вопросы или просто пообщаться, буду рад поговорить в любое время. Более формальное описание: https://team.sbermarket.ru/vacancies/id/1041

team.sbermarket.ru

Senior Data Engineer (команда Data Lake)

Senior Data Engineer (команда Data Lake)! Сильное комьюнити! Обучение и развитие! Амбициозная команда! Атмосфера вдохновения и взаимоуважения! Возможности карьерного роста!

www.tgoop.com/datajobs/482511

Oct 25 at 15:19

Привет, датажопсы! Ищу дата инженера в свою команду в Купер (в ближайшем будущем ecom.tech). Занимаемся дата лейком. У нас сейчас Trino + icebeg, Spark на Scala, Airflow. Ежемесячно нашим Trino пользуется 100 человек и десятки сервисных аккаунтов: аналитики, ML, BI, разрабы сервисов, некоторые прошаренные менеджеры. Мы адаптировали CDC на базе Debezium + Spark Streaming (в iceberg с эволюцией схемы). Сейчас напильником дорабатываем под внутрянку компании Kafka Connect для загрузки из Kafka и реляционок в iceberg, уже в этом году будем катить в прод. Пилим авторизацию доступа к данным через трино вплоть до ограничения отдельных колонок.

Можно в лс задать любые вопросы или просто пообщаться, буду рад поговорить в любое время. Более формальное описание: https://team.sbermarket.ru/vacancies/id/1041

BY Андрей in Data jobs