Мы развиваем аналитическую платформу и хранилище данных для сервисов аналитики e-commerce. Ищем Data Engineer, который поможет нам развивать DWH, проектировать высоконагруженные ETL/ELT-процессы и строить витрины данных для BI и внутренних сервисов.
Чем предстоит заниматься:
-
Проектировать и развивать слои DWH (Raw, Staging, Data Marts).
-
Разрабатывать и поддерживать распределенные пакетные и инкрементальные пайплайны обработки данных на Apache Spark.
-
Организовывать репликацию и синхронизацию данных между источниками (PostgreSQL, ClickHouse, S3).
-
Писать и оптимизировать сложные SQL-запросы, хранимые процедуры и витрины данных.
-
Настраивать мониторинг пайплайнов, отслеживать качество и актуальность данных (Data Quality).
-
Взаимодействовать с BI-разработчиками и аналитиками.
Что мы ждем от кандидата:
-
Apache Spark: практический опыт разработки пайплайнов обработки больших объемов данных (PySpark / Spark SQL), понимание архитектуры Spark (RDD, DataFrame, DAG, стейдж/таски) и методов оптимизации (shuffle, partitioning, caching).
-
SQL: уверенное владение DDL/DML, оконными функциями, понимание планов выполнения запросов и методов оптимизации.
-
Базы данных: опыт работы с PostgreSQL и ClickHouse (понимание движков таблиц, партиционирования, агрегаций).
-
Оркестрация: опыт работы с Apache Airflow (написание DAG, custom operators, управление зависимостями).
-
Python: уверенное владение языкoм для разработки пайплайнов, работы с API и объектными хранилищами.
-
Инфраструктура: базовые навыки работы с Linux, Git, Docker, Bash.
Будет плюсом:
-
Опыт работы со стеком dbt или Trino / Presto.
-
Опыт работы с S3 / Yandex Object Storage.
-
Понимание архитектуры и проектирования аналитических витрин для Power BI / Superset.
Что мы предлагаем:
-
Оформление по ТК РФ / ИП / СЗ.
-
Полностью удаленный формат работы с гибким началом дня.
-
Адекватные процессы без бюрократии, современный стек инструментов.
-
Профессиональный рост и сложные инженерные задачи.