Data Engineer (Data Platform) (Python)

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7

Продукт Контрольно-надзорная деятельность осуществляет проект по автоматизации процессов Государственной инспекции по контролю за использованием объектов недвижимости Москвы, Главконтроля и еще 8 органов исполнительной власти города Москвы в рамках реализации реформы контрольной и надзорной деятельности в городе Москве.

Сейчас команда активно растёт и продолжает набирать темп, поэтому мы в поисках новых талантов!

Что нужно делать:

• управлять кросс-функциональной командой
  - обеспечивать эффективное взаимодействие между БА, СА, дата-инженерами, дата-аналитиками, тестировщиками и разработчиками
  - распределять задачи с учётом профиля специалистов и приоритетов проектов
  - участвовать в найме, онбординге и менторстве новых членов команды

• планировать и контролировать исполнения
  - декомпозировать задачи, оценивать трудоёмкость, формировать спринты и бэклог
  - контролировать сроки и качество реализации (ETL/ELT-процессы, витрины данных, отчётность, API-слои)
  - предоставлять отчётность по метрикам команды: скорость, загрузка, качество данных

• техническое лидерство и архитектура
  - проектировать и развивать архитектуру ДВХ (Data Lake, Data Warehouse, Data Marts)
  - выбирать и внедрять технологии: СУБД (ClickHouse, Greenplum, PostgreSQL, MongoDB), оркестрация (Airflow), обработка данных (Spark, Python/Java/Scala).
  - обеспечивать методологию Data Vault 2.0, оптимизировать запросы, репликации и шардинг.
  - управлять интеграциями через брокеры сообщений (Kafka), REST API

Какие знания и навыки нам важны:

• опыт разработки или анализа данных от 5 лет, из них не менее 2 лет в роли Team Lead / Tech Lead

• успешное управление командой от 5 человек (включая аналитиков и инженеров данных)

• опыт построения процессов работы с данными в высоконагруженной среде (микросервисы, большие объёмы)

• языки программирования: знание Python (pandas, PySpark, FastAPI/Flask, DBT) и дополнительно Java/Scala – для понимания стека инженеров

• SQL: уверенное владение (сложные запросы, оконные функции, CTE, оптимизация) – для код-ревью и помощи аналитикам/инженерам

• СУБД и хранилища: опыт с ClickHouse, Greenplum, PostgreSQL, Oracle, MongoDB

• оркестрация и ETL: практический опыт с Apache Airflow, DBT, понимание ETL/ELT-подходов

• моделирование данных: знание методологии Data Vault 2.0, Data Lake / Data Warehouse

• брокеры сообщений: Kafka (потоки данных, интеграции)
  - CI/CD и Git: GitLab CI, Git (ветвление, ревью)

Что предлагаем:

• рыночную зарплату и премии
• драйвовые задачи и ресурсы для их реализации
• преимущества аккредитованной IT-компании
• материальную помощь в случае важных событий в жизни
• корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке
• корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие
• комьюнити по интересам
• скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.
  
  Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!

Представляем вам уникальную возможность стать частью дружной команды МРИИ — самого престижного курорта Крыма, расположенного в живописном месте на берегу Чёрного моря с потрясающим видом и 300 солнечными днями в году. Мы входим в экосистему Сбера.

В связи с расширением компании мы приглашаем на работу Разработчика интеграционной платформы / ESB (Apache Camel / Kafka / NiFi).

Что мы предлагаем:

• Официальное трудоустройство в соответствии с ТК РФ.
• Удалённая работа (возможны редкие командировки).
• График работы: 5/2, с 9:00 до 18:00 по московскому времени.
• Премирование по итогам года.
• Очное и онлайн-обучение, программы развития талантов, корпоративная библиотека.
• Активная корпоративная жизнь: мероприятия, экскурсии и походы по Крыму, клубы по интересам, тренировки по 13 видам спорта (теннис, бассейн, фитнес, йога, кроссфит, футбол, волейбол, баскетбол и др.).
• Специальные предложения на проживание, а также другие услуги и товары комплекса.
• Вознаграждение за рекомендацию друзей в команду МРИИ.
• Корпоративные продукты Сбербанка (ипотека, льготное кредитование, рефинансирование).
• Специальные предложения для сотрудников от партнёров компании.

Чем предстоит заниматься:

• Разработка коннекторов и адаптеров на выбранной интеграционной платформе (Apache NiFi / Apache Camel / Kafka Connect / Node-RED — по согласованию с архитектором) и с использованием брокера Apache Kafka.
• Реализация ETL/ELT-потоков и потоковой обработки данных (stream processing).
• Настройка и сопровождение Kafka: топиков, партиций, consumer groups, retention, репликации, Schema Registry (Avro/Protobuf).
• Обеспечение надёжности доставки сообщений: паттерны Transactional Outbox, идемпотентность, семантика exactly-once, dead letter queues, экспоненциальные ретраи.
• Интеграция с реляционными СУБД (PostgreSQL, Oracle), в том числе с использованием CDC (Debezium).
• Интеграция с 1С (OData, HTTP-сервисы, обмен через EnterpriseData).
• Настройка безопасности (mTLS, ACL Kafka, OAuth2/JWT) и горизонтального масштабирования.
• Мониторинг и обеспечение наблюдаемости: метрики (Prometheus + Grafana), логирование (ELK/Loki), distributed tracing (OpenTelemetry / Jaeger).
• Покрытие потоков автотестами, участие в code review, ведение технической документации.

Пожелания к кандидату:

• Практический опыт построения интеграций на одной из платформ: Apache NiFi, Apache Camel (Spring Boot / Quarkus / Karaf), Kafka Connect + Kafka Streams, WSO2 EI, MuleSoft, Node-RED или аналогичной.
• Знание Apache Kafka: архитектура (партиции, retention, репликация), producer/consumer, consumer groups, управление offset, Schema Registry.
• Уверенное программирование на одном из языков: Java / Kotlin / Go / Python / JavaScript (Node.js).
• Знание интеграционных протоколов и форматов: REST, SOAP, MQTT, gRPC, JSON/XML, Avro/Protobuf.
• Опыт работы с реляционными СУБД: PostgreSQL и/или Oracle (SQL, оптимизация запросов, работа из приложений).
• Знание паттернов интеграции: маршрутизация, трансформация, агрегация, идемпотентность, retry/circuit breaker.
• Git, code review, CI/CD-практики.

Будет преимуществом:

• Контейнеризация и оркестрация: Docker, Kubernetes (Helm).
• CI/CD: GitLab CI, Jenkins, ArgoCD.
• Наблюдаемость: Prometheus, Grafana, ELK/Loki, OpenTelemetry, Jaeger.
• Участие в проектировании корпоративной шины данных: маршрутизация, трансформация и обогащение сообщений между ERP, CRM, HRS, ELMA BPM, 1С и внешними сервисами (КЭДО, мобильные приложения, облачные платформы).

Если вы ищете интересную работу в стабильной и развивающейся компании, присоединяйтесь к МРИИ! Мы будем рады видеть вас в нашей команде.

• Помогать проектировать и строить хранилища данных на Iceberg (спроектировать и реализовать озёрное хранилище вокруг Apache Iceberg, используя Spark/Trino в качестве compute-движков, с расчётом на объёмы данных в сотни ТБ);
• Заниматься настройкой процессов обеспечения качества данных (DQ) (внедрить и настроить DQ-процессы (валидация, мониторинг, метрики качества) на данных в хранилище);
• Внедрять автоматическую генерацию и сопровождение метаданных/описаний данных (data discovery, data catalog, профилирование);
• Проектировать и разворачивать feature store для подготовки и управления признаками на стороне платформы;
• Участвовать в создании семантического слоя для унификации бизнес-логики и метрик поверх данных.

Формат работы — удаленный формат.

• Уверенно владеете Python в контексте DE (2+ года);
• Имеете глубокие знания SQL (оконные функции, оптимизация запросов, explain-планы);
• Имеете опыт работы с оркестраторами данных (у нас Airflow);
• Имеете опыт с Hadoop (Spark / YARN / HDFS);
• Имеете опыт с MPP-системами (Greenplum).