Middle Data Engineer (Python)

Основные задачи:

• Анализировать источники данных: ERP-системы, API, базы данных, файлы, event-шины и Kafka;

• Выявлять и формализовывать требования внутренних и внешних заказчиков к данным и аналитике;

• Участвовать в проектировании аналитических витрин и моделей данных;

• Описывать состав показателей, правила расчёта, связи между сущностями и требования к качеству данных;

• Готовить SQL-прототипы, выборки и технические задания для команд Data Engineering;

• Выполнять профилирование данных и анализ расхождений между источниками;

• Участвовать в проверке полноты, актуальности, непротиворечивости и корректности данных;

• Принимать участие в тестировании и валидации витрин, пайплайнов и интеграций;

• Анализировать результаты обработки данных в Spark, Starrocks, Trino или аналогичных SQL-движках;

• Поддерживать документацию по источникам, моделям, витринам и правилам трансформации;

• Взаимодействовать с заказчиками, аналитиками, разработчиками, инженерами данных и архитекторами.

Обязательные требования:

• Опыт работы дата-аналитиком, DWH-аналитиком, системным аналитиком или аналитиком витрин данных;

• Уверенное знание SQL;

• Опыт анализа данных из нескольких источников;

• Понимание принципов построения DWH, Data Lake или Lakehouse;

• Опыт работы с Apache Iceberg, Parquet и объектными S3-хранилищами;

• Опыт работы с Apache Spark, Spark SQL или PySpark;

• Знание Python для анализа и автоматизации;

• Понимание слоёв данных, витрин, агрегатов и ETL/ELT-процессов;

• Опыт подготовки требований, спецификаций или технических заданий;

• Умение описывать правила расчёта показателей и преобразования данных;

• Опыт профилирования и проверки качества данных;

• Понимание принципов работы пакетных и потоковых загрузок;

• Умение взаимодействовать с бизнес-заказчиками и техническими командами.

Будет преимуществом:

• Опыт работы в банках, страховых, инвестиционных или других финансовых компаниях;

• Опыт работы с Impala, Trino, Hive, Greenplum или аналогичными движками;

• Опыт работы с API, event-шинами и потоковыми данными;

• Опыт работы с Kubernetes на уровне понимания среды исполнения;

• Знание инструментов визуализации данных;

• Опыт работы с Data Quality, Data Governance или Data Catalog.

МЫ ПРЕДЛАГАЕМ:

• Полную занятость, график работы 5/2. Гибкое начало рабочего дня.
• Гибридный формат работы (не менее 1-го дня в неделю из офиса, 4 дня дистанционно) для городов: Москва, Санкт-Петербург, Ярославль, Чебоксары, Воронеж, Самара, Пермь, Уфа.
• Оформление по ТК РФ, бессрочный трудовой договор.

Обязанности:

• Организация сбора и хранения структурированных и неструктурированных данных
• Обработка «сырых» данных: биллинг, отчеты из систем бронирования, логи платформы
• Гармонизация данных и преобразование в полезную информацию для последующего анализа
• Аналитика маршрутных направлений на пассажирском транспорте: жд, авиа, автобусных перевозках
• Аналитика цен на билеты на заданных маршрутных направлениях на пассажирском транспорте: жд, авиа, автобусных перевозках
• Формирование портрета пассажира и оценка его изменения
• Разработка гипотез о взаимосвязях и их проверка
• Анализ воздействия вносимых изменений на показатели продаж
• Предоставление аналитических выводов и предложений на основе полученной информации
• Развитие и сопровождение периодической аналитической отчетности и типовых отчетов по запросам

Требования:

• Знание SQL, Python
• Значительные аналитические способности
• Глубокие знания математики и статистики
• Опыт работы с базами данных, большими объемами информации
• Опыт работы с Apache Superset
• Отличные навыки презентации, способность излагать свои результаты анализа в понятном виде для менеджмента
• Высокая организованность, скрупулезность, внимательность к деталям
• Быстрая обучаемость и готовность постоянно повышать уровень конечного аналитического продукта
• Оптимизация алгоритмов обработки данных
• Оптимизация SQL запросов

Условия:

• Работа в аккредитованной IT-компании, входящей в состав Холдинга РЖД
• Оформление, отпуска, больничные по ТК, стабильный, полностью официальный доход
• График работы: 5/2, 8-ми часовой рабочий день (работа в офисе)
• ДМС, включая стоматологию