Data Engineer (Python)

Основные задачи:

• Анализировать источники данных: ERP-системы, API, базы данных, файлы, event-шины и Kafka;

• Выявлять и формализовывать требования внутренних и внешних заказчиков к данным и аналитике;

• Участвовать в проектировании аналитических витрин и моделей данных;

• Описывать состав показателей, правила расчёта, связи между сущностями и требования к качеству данных;

• Готовить SQL-прототипы, выборки и технические задания для команд Data Engineering;

• Выполнять профилирование данных и анализ расхождений между источниками;

• Участвовать в проверке полноты, актуальности, непротиворечивости и корректности данных;

• Принимать участие в тестировании и валидации витрин, пайплайнов и интеграций;

• Анализировать результаты обработки данных в Spark, Starrocks, Trino или аналогичных SQL-движках;

• Поддерживать документацию по источникам, моделям, витринам и правилам трансформации;

• Взаимодействовать с заказчиками, аналитиками, разработчиками, инженерами данных и архитекторами.

Обязательные требования:

• Опыт работы дата-аналитиком, DWH-аналитиком, системным аналитиком или аналитиком витрин данных;

• Уверенное знание SQL;

• Опыт анализа данных из нескольких источников;

• Понимание принципов построения DWH, Data Lake или Lakehouse;

• Опыт работы с Apache Iceberg, Parquet и объектными S3-хранилищами;

• Опыт работы с Apache Spark, Spark SQL или PySpark;

• Знание Python для анализа и автоматизации;

• Понимание слоёв данных, витрин, агрегатов и ETL/ELT-процессов;

• Опыт подготовки требований, спецификаций или технических заданий;

• Умение описывать правила расчёта показателей и преобразования данных;

• Опыт профилирования и проверки качества данных;

• Понимание принципов работы пакетных и потоковых загрузок;

• Умение взаимодействовать с бизнес-заказчиками и техническими командами.

Будет преимуществом:

• Опыт работы в банках, страховых, инвестиционных или других финансовых компаниях;

• Опыт работы с Impala, Trino, Hive, Greenplum или аналогичными движками;

• Опыт работы с API, event-шинами и потоковыми данными;

• Опыт работы с Kubernetes на уровне понимания среды исполнения;

• Знание инструментов визуализации данных;

• Опыт работы с Data Quality, Data Governance или Data Catalog.

МЫ ПРЕДЛАГАЕМ:

• Полную занятость, график работы 5/2. Гибкое начало рабочего дня.
• Гибридный формат работы (не менее 1-го дня в неделю из офиса, 4 дня дистанционно) для городов: Москва, Санкт-Петербург, Ярославль, Чебоксары, Воронеж, Самара, Пермь, Уфа.
• Оформление по ТК РФ, бессрочный трудовой договор.