Middle Data Engineer (Python)

«Умная Логистика» — ведущая SaaS-экосистема для управления цепочками поставок и грузоперевозками в РФ. Нашей платформой ежедневно пользуются тысячи грузовладельцев и транспортных компаний, чтобы распределять заказы, отслеживать грузы в пути, рассчитывать оптимальные ставки и оформлять электронные документы.

Мы развиваем data-driven культуру и расширяем команду данных. Ищем Middle Data Engineer, который поможет развивать платформу данных (DWH и Data Lake), настроит надежные пайплайны пакетной и потоковой обработки на Spark и Airflow, а также обеспечит команду аналитики быстрыми витринами для нашего корпоративного BI-инструмента — Apache Superset.

Чем предстоит заниматься:

• Развитие DWH и Data Lake: Участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse.

• Разработка пайплайнов обработки данных: Написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python.

• Оркестрация процессов: Создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow.

• Подготовка витрин для BI: Проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset.

• Интеграция источников: Сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы).

• Контроль качества и оптимизация: Валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL.

Что мы ждем от кандидата:

• Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет.

• Уверенное владение SQL: Сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN).

• Опыт работы с Apache Airflow: Уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов.

• Практика работы с СУБД и хранилищами:

• PostgreSQL (реляционное моделирование, индексы, транзакции);

• ClickHouse (семейство движков MergeTree, специфика колоночного хранения);

• S3-совместимые хранилища (организация структуры каталогов, работа с форматами Parquet/ORC).

• Уверенный Python: Написание чистого, структурированного кода для задач обработки данных.

• Базовое понимание специфики подготовки данных для BI-инструментов (в частности, для Apache Superset).

• Навыки работы с Git, Docker и Linux-окружением.

Будет плюсом:

• Опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ).

• Опыт работы с dbt (data build tool) или инструментами валидации данных (Great Expectations, Pandera).

• Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset.

• Понимание логистического или B2B SaaS-домена.

Наш стек:

• Storage & DB: S3, PostgreSQL, ClickHouse

• Pipelines & Orchestration: Apache Spark, Apache Airflow

• BI: Apache Superset

• Streaming & Messaging: Apache Kafka, RabbitMQ

• Infrastructure & CI/CD: Docker, Kubernetes, GitLab CI, Grafana, Prometheus

Что мы предлагаем:

• Прозрачные задачи и профессиональный рост: Участие в развитии современной платформы данных без устаревшего легаси в связке с сильной командой.

• Оформление и стабильность: Полностью официальное трудоустройство по ТК РФ, белая заработная плата.

• Гибкий формат: Полная удаленка из любой точки РФ или работа в комфортном офисе.

• Техника для работы: Производительный рабочий ноутбук и все необходимые доступы.

• Обучение: Компенсация профильных курсов, профильной литературы и участия в конференциях.

• Культура: Минимум бюрократии, открытость к инженерным инициативам и доверие к процессам.