Data Engineer (Python)

Data Engineer Middle+ / Senior

Компания: EvApps

ЗП вилка до 200 000 на руки

Удаленно, РФ

Полная занятость

Что делать:

• Разрабатывать и оптимизировать ETL-пайплайны;
• Обрабатывать и трансформировать XML-данные;
• Строить raw-слой (Parquet в S3) и витрины данных;
• Реализовывать нормализацию, дедупликацию и формирование "золотых" записей;
• Обеспечивать производительность обработки данных;
• Готовить решения к переносу в закрытый контур заказчика;
• Взаимодействовать с аналитиками, архитектором, DevOps и командой проекта.

Требования:

• Опыт работы Data Engineer от 3 лет;
• Опыт построения ETL/ELT пайплайнов в продакшн;
• Работали с большими объемами данных;
• Уверенно владеете Python;
• Имеете опыт обработки и трансформации данных (pandas, PySpark или аналоги);
• Работали с XML (lxml, ElementTree или аналоги);
• Понимаете форматы хранения данных (Parquet, columnar storage);
• Работали с S3 или аналогичными хранилищами;
• Понимаете архитектуру data lake / lakehouse и multi-layer подход (raw → processed → curated);
• Имеете опыт подготовки данных (нормализация, дедупликация, golden record / master data);
• Работали с реляционными БД (PostgreSQL, Greenplum, ClickHouse или аналоги) и SQL;
• Имеете опыт работы с Airflow или аналогами;
• Работали с Docker и CI/CD;
• Имеете опыт работы с облаками (Yandex Cloud, AWS, GCP);
• Работали с Git.

Будет плюсом:

• Опыт работы со Spark, Hadoop;
• Опыт работы с Delta Lake, Iceberg, Hudi.

ТРЕБУЕТСЯ ОТКРЫТОЕ ИП ❕