SENIOR DATA ENGINEER (AZURE DATABRICKS & DEVOPS) (Python)

О нас:

За цифровую разработку продуктов в Корпорации отвечает ТЕХНОНИКОЛЬ Диджитал, аккредитованная IT-компания.

Внедряем цифровые технологии в промышленность строительных материалов, логистику, клиентский сервис и управленческие процессы, чтобы миллионы людей по всему миру жили и работали в комфортной среде.

Мы автоматизировали работу предприятий и складов, создали платформу управления транспортом, мобильные приложения для клиентов и их подрядчиков, корпоративную экосистему для сотрудников в одном приложении.

Вакансия открыта в связи с развитием КХД. Команда: 6 Data Engineers, 2 DevOps Engineers, 1 аналитик, 1 ПМ, Руководитель.

Основной стек проекта: Python, Greenplum, PostgreSQL, ClickHouse, Data Build Tool (DBT), Spark, Kafka, Airflow, Kubernetes, Terraform, Ansible, GitLab, SonarQube, Prometheus, Grafana, AlertManager.

Обязанности:

• организация пайплайнов потоков данных (конвейера движения данных в компании);
• разработка, поддержка и оптимизация производительности Корпоративного Хранилища Данных (EDWH);
• разработка и настройка ETL/ELT-процессов в Корпоративное Хранилище Данных (сбор, структурирование и обеспечение сохранности данных);
• настройка инфраструктуры для обеспечения качества данных;
• разработка BI дашбордов, визуализации данных.

Требования:

• обязателен опыт работы с технологиями: Greenplum или другая MPP СУБД, ClickHouse, Airflow;
• хорошее знание SQL и реляционных баз данных (желательно, Greenplum или PostgreSQL), опыт написания сложных запросов;
• хорошее знание Python;
• знание современных технологий обработки больших данных;
• высшее образование (IT/математика/математическая статистика/физика).

Мы предлагаем:

• официальное трудоустройство (белая ЗП, отпуск, больничный);
• льготы сотрудника аккредитованной ИТ компании (ипотека, отсрочка от армии);
• ДМС со стоматологией, льготное ДМС для родственников;
• компенсация оплаты больничного до оклада;
• оплата мобильной связи, материальная помощь, скидки на занятия иностранными языками, оплата профессионального обучения, посещения конференций, компенсация процентов по ипотеке;
• возможность профессионального и материального роста;
• ежегодные выездные IT конференции, митапы, техтолки;
• возможность стать амбассадором компании;
• регулярные встречи вне офиса.

Чем предстоит заниматься

• Разрабатывать и сопровождать ETL/ELT-пайплайны.
• Работать с Apache Airflow: разрабатывать, поддерживать и оптимизировать DAG.
• Проектировать и реализовывать интеграции и потоки данных.
• Работать с DWH (ODS / DDS / ADS) и большими объёмами данных.
• Оптимизировать запросы, пайплайны и процессы обработки данных.
• Анализировать и устранять инциденты, повышать стабильность процессов.
• Участвовать в code review и развитии стандартов разработки.
• Реализовывать и поддерживать проверки качества данных.
• Взаимодействовать с аналитиками, Data Scientists и другими командами.
• Участвовать в развитии Data Platform и технической документации.
• Для Senior — участвовать в архитектурных решениях, развитии инженерных практик и менторинге команды.

Что важно

• Уверенный SQL и Python.
• Практический опыт работы с Apache Airflow.
• Опыт разработки ETL/ELT-пайплайнов.
• Опыт работы с DWH и понимание архитектуры ODS / DDS / ADS.
• Опыт работы с MPP СУБД, предпочтительно Greenplum.
• Понимание принципов оптимизации запросов и пайплайнов.
• Опыт работы с Git и code review.
• Понимание принципов Data Quality и Data Governance.

Будет плюсом

• Опыт работы с ClickHouse и S3.
• Понимание Data Vault.
• Опыт настройки мониторинга и алертинга.
• Знакомство с каталогами данных, например OpenMetadata.
• Опыт CI/CD и DevOps-практик.

В Т‑Банк большое и продвинутое хранилище данных: это 8000 объектов, 800 ТБ в Greenplum и 110 ТБ в Clickhouse.

С данными активно работают более 16 тысяч пользователей из бизнес-команд — они ежедневно принимают десятки решений с опорой на них. А наша команда делает все, чтобы доступ к данным был простым и ими было удобно пользоваться. Мы постоянно совершенствуем подходы к работе и стараемся быть новаторами на рынке технологий.

Мы ищем в команду дата-инженера. В Т‑Банке вы сможете развиваться в одном из двух направлений — системном анализе и ETL-разработке. Или совмещать их, если вам интересны оба.

• Участвовать в формировании модели данных
• Проектировать и разрабатывать витрины и потоки данных на основе потребностей бизнес-пользователей
• Участвовать в проектах по развитию Data Platform
• Писать скрипты SQL и Python, это опционально
• Прорабатывать интеграции с внешними системами для Data Platform

• Свободно владеете SQL
• Работали с базами данных в качестве аналитика или разработчика
• Понимаете теорию СУБД- и ETL-процессов
• Есть опыт проектирования объектов БД на основании бизнес требований

• Работу в офисе или гибридный формат — по договоренности с руководителем
• Платформу обучения и развития «Т-Банк Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии
• Линейку льготных тарифов на продукты Т-Банка
• Комплексную программу заботы о здоровье. Оформим полис ДМС с широким покрытием и страховку от несчастных случаев. Предложим льготные условия страхования для ваших близких
• Частичную компенсацию затрат на спорт по окончании испытательного срока
• Компенсацию обедов и транспорта в дни посещения офиса
• Well-being-программу, которая помогает улучшить психологическое и физическое здоровье, а также разобраться с юридическими и финансовыми вопросами
• Три дополнительных дня отпуска в год