Senior/Middle Data Engineer (Python)
Разрабатывать и сопровождать ETL/ELT-пайплайны.
↑ Вакансия с автоподнятием
Чем предстоит заниматься
- Разрабатывать и сопровождать ETL/ELT-пайплайны.
- Работать с Apache Airflow: разрабатывать, поддерживать и оптимизировать DAG.
- Проектировать и реализовывать интеграции и потоки данных.
- Работать с DWH (ODS / DDS / ADS) и большими объёмами данных.
- Оптимизировать запросы, пайплайны и процессы обработки данных.
- Анализировать и устранять инциденты, повышать стабильность процессов.
- Участвовать в code review и развитии стандартов разработки.
- Реализовывать и поддерживать проверки качества данных.
- Взаимодействовать с аналитиками, Data Scientists и другими командами.
- Участвовать в развитии Data Platform и технической документации.
- Для Senior — участвовать в архитектурных решениях, развитии инженерных практик и менторинге команды.
Что важно
- Уверенный SQL и Python.
- Практический опыт работы с Apache Airflow.
- Опыт разработки ETL/ELT-пайплайнов.
- Опыт работы с DWH и понимание архитектуры ODS / DDS / ADS.
- Опыт работы с MPP СУБД, предпочтительно Greenplum.
- Понимание принципов оптимизации запросов и пайплайнов.
- Опыт работы с Git и code review.
- Понимание принципов Data Quality и Data Governance.
Будет плюсом
- Опыт работы с ClickHouse и S3.
- Понимание Data Vault.
- Опыт настройки мониторинга и алертинга.
- Знакомство с каталогами данных, например OpenMetadata.
- Опыт CI/CD и DevOps-практик.
Похожие вакансии Data Engineer
Core Портал продавцов — это юнит со всеми продуктами WB для продавцов. Здесь есть личный кабинет, загрузка и хранение контента, интеграция с поиском и каталогом, баланс продавца, отгрузка товаров и доставка до покупателя, аналитика и многое другое. Это 1/4 всего бизнеса WB. В сервисе более 1 млн. поставщиков, ежедневный оборот - 5 млрд. рублей.
Вам предстоит:
—Участвовать в разработке data-transfer инструмента, который позволит автоматизировать процесс перегрузки данных с различных источников;
— Формировать хранилище данных на HDFS и ClickHouse;
— Дорабатывать и оптимизировать существующие, а также писать новые Airflow-операторы;
— Оптимизировать интеграции со стриминговыми источниками данных (Kafka);
— Формировать витрины для аналитики и поставлять их в BI-инструмент.
Формат работы: удаленный формат
Вы нам подойдете, если:
— Имеете уверенный опыт программирования на Python (от 5 лет);
— Имеете опыт работы с Java/Scala (Flink огромным плюсом);
— Имеете опыт с hadoop (spark/yarn/hdfs/hive), с apache Airflow / Dagster и со Spark (Pyspark);
— Имеете опыт в оптимизации SQL запросов (индексы, партицирование, шардирование и тд);
— Имеете опыт работы с MPP СУБД (ClickHouse/GreenPlum/Vertica).
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.