Data Engineer

• Проектировать и развивать Data Lakehouse платформу;

• Разрабатывать ETL/ELT пайплайны на базе Spark, DBT и Trino;

• Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake;

• Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana;

• Управлять инфраструктурой и конфигурацией платформы через GitOps (ArgoCD, Helm);

• Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт.

Формат работы - гибридный по договоренности с руководителем.

• Имеете практический опыт построения Data Lakehouse платформ или крупных Data Platform решений;

• Обладаете опытом проектирования DLH с нуля;

• Имеете глубокое понимание архитектуры Spark: execution model, partitioning, memory management, shuffle, оптимизация запросов;
• Хорошо понимаете принципы работы форматов данных и таблиц в Data Lake (Iceberg/Parquet и аналогичных технологий);

• У вас есть опыт работы с Trino и понимание принципов распределенного выполнения запросов;

• Обладаете опытом работы с Airflow и построения сложных data workflows, разработки кастомных операторов, сенсоров, хуков и плагинов.

Задачи

• Проектировать и разрабатывать пайплайны обработки данных;
• Поддерживать и развивать DWH/ETL-процессы;
• Рефакторить код;
• Анализировать и переносить источники данных в отчетности.

Требования

• Коммерческий опыт разработки от 3 лет;
• Уверенно владеть MSSQL, T-SQL, SQL, оптимизацией запросов и хранимыми процедурами;
• Иметь опыт работы с Python от 2 лет;
• Иметь опыт работы с Airflow от 1 года: построение и сопровождение DAG, планирование и мониторинг;
• Понимать принципы построения ETL/ELT-пайплайнов, работы с большими объемами данных, обеспечения отказоустойчивости и идемпотентности загрузок;
• Уверенно владеть Git;
• Иметь опыт проектирования и разработки пайплайнов данных с нуля, участвовать в архитектурных решениях;
• Иметь опыт рефакторинга кода, оптимизации производительности запросов и повышения отказоустойчивости;
• Уметь разбираться в чужом коде, самостоятельно прорабатывать технические решения и декомпозировать сложные задачи;
• Иметь опыт работы с инцидентами;
• Иметь опыт аналитических задач по изменению источников данных в отчетности, сверке данных и валидации результатов миграции;
• Не иметь проектов в Лемана, Петрович Тех, ВБ, Озон, Лента Тех, Яндекс Маркет и М.Видео за последние 6 месяцев;
• Будет плюсом опыт работы в e-com.

Условия

• Долгосрочный проект;
• Локация: РФ, в идеале — Москва, Екатеринбург или Саранск.

Itransition is looking for a talented Data Engineer that is willing to solve complex technical issues while developing high quality software systems using modern technologies.

Requirements:

• 2+ years with Python including strong knowledge of data libraries (pandas, multiprocess, Google Cloud SDK)

• 2+ years of experience in ETL/ELT technologies (REST API, GraphQL, DBT, etc. ) and data pipeline orchestration (e.g., Airflow, Astronomer, DBT cloud, etc)

• Hands-on experience with Snowflake

• Problem-solving and root cause analysis in live production systems along with experience querying and transforming large volumes of data, data quality and data validation

• Experience in SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)

• Comfortable working with serialized data format (JSON, AVRO, XML, CSV) as well as compressed and encoded files

• Comfortable with ingesting data using REST APIs, data transformations and data loading/unloading techniques

• English proficiency sufficient to work in an international environment

Nice to have:

• Capable of designing and implementing data pipelines over cloud architecture
• Experience working with CI/CD deployments
• Experience working with GIT

We can offer:

• Projects for such clients as PayPal, Wargaming, Xerox, Philips, adidas and Toyota
• Competitive compensation that depends on your qualification and skills
• Career development system with clear skill qualifications
• Options to work remotely
• Compensation for medical expenses
• English courses online
• Corporate parties and events for employees and their children
• Internal conferences, workshops and meetups for learning and experience sharing
• Gym membership compensation, corporate sport competitions (cybersport included)
• 5 days of paid sick leave per year with no obligation to submit a sick-leave certificate