Middle Data Engineer в Локализацию (команда Рекомендаций) (Python)

Представляем вам уникальную возможность стать частью дружной команды МРИИ — самого престижного курорта Крыма, расположенного в живописном месте на берегу Чёрного моря с потрясающим видом и 300 солнечными днями в году. Мы входим в экосистему Сбера.

В связи с расширением компании мы приглашаем на работу Разработчика интеграционной платформы / ESB (Apache Camel / Kafka / NiFi).

Что мы предлагаем:

• Официальное трудоустройство в соответствии с ТК РФ.
• Удалённая работа (возможны редкие командировки).
• График работы: 5/2, с 9:00 до 18:00 по московскому времени.
• Премирование по итогам года.
• Очное и онлайн-обучение, программы развития талантов, корпоративная библиотека.
• Активная корпоративная жизнь: мероприятия, экскурсии и походы по Крыму, клубы по интересам, тренировки по 13 видам спорта (теннис, бассейн, фитнес, йога, кроссфит, футбол, волейбол, баскетбол и др.).
• Специальные предложения на проживание, а также другие услуги и товары комплекса.
• Вознаграждение за рекомендацию друзей в команду МРИИ.
• Корпоративные продукты Сбербанка (ипотека, льготное кредитование, рефинансирование).
• Специальные предложения для сотрудников от партнёров компании.

Чем предстоит заниматься:

• Разработка коннекторов и адаптеров на выбранной интеграционной платформе (Apache NiFi / Apache Camel / Kafka Connect / Node-RED — по согласованию с архитектором) и с использованием брокера Apache Kafka.
• Реализация ETL/ELT-потоков и потоковой обработки данных (stream processing).
• Настройка и сопровождение Kafka: топиков, партиций, consumer groups, retention, репликации, Schema Registry (Avro/Protobuf).
• Обеспечение надёжности доставки сообщений: паттерны Transactional Outbox, идемпотентность, семантика exactly-once, dead letter queues, экспоненциальные ретраи.
• Интеграция с реляционными СУБД (PostgreSQL, Oracle), в том числе с использованием CDC (Debezium).
• Интеграция с 1С (OData, HTTP-сервисы, обмен через EnterpriseData).
• Настройка безопасности (mTLS, ACL Kafka, OAuth2/JWT) и горизонтального масштабирования.
• Мониторинг и обеспечение наблюдаемости: метрики (Prometheus + Grafana), логирование (ELK/Loki), distributed tracing (OpenTelemetry / Jaeger).
• Покрытие потоков автотестами, участие в code review, ведение технической документации.

Пожелания к кандидату:

• Практический опыт построения интеграций на одной из платформ: Apache NiFi, Apache Camel (Spring Boot / Quarkus / Karaf), Kafka Connect + Kafka Streams, WSO2 EI, MuleSoft, Node-RED или аналогичной.
• Знание Apache Kafka: архитектура (партиции, retention, репликация), producer/consumer, consumer groups, управление offset, Schema Registry.
• Уверенное программирование на одном из языков: Java / Kotlin / Go / Python / JavaScript (Node.js).
• Знание интеграционных протоколов и форматов: REST, SOAP, MQTT, gRPC, JSON/XML, Avro/Protobuf.
• Опыт работы с реляционными СУБД: PostgreSQL и/или Oracle (SQL, оптимизация запросов, работа из приложений).
• Знание паттернов интеграции: маршрутизация, трансформация, агрегация, идемпотентность, retry/circuit breaker.
• Git, code review, CI/CD-практики.

Будет преимуществом:

• Контейнеризация и оркестрация: Docker, Kubernetes (Helm).
• CI/CD: GitLab CI, Jenkins, ArgoCD.
• Наблюдаемость: Prometheus, Grafana, ELK/Loki, OpenTelemetry, Jaeger.
• Участие в проектировании корпоративной шины данных: маршрутизация, трансформация и обогащение сообщений между ERP, CRM, HRS, ELMA BPM, 1С и внешними сервисами (КЭДО, мобильные приложения, облачные платформы).

Если вы ищете интересную работу в стабильной и развивающейся компании, присоединяйтесь к МРИИ! Мы будем рады видеть вас в нашей команде.

Чем предстоит заниматься:

• Изучение сырых данных, как на источнике, так и в Storage
• Тесное взаимодействие с командами Data Science и ML
• Разбор и устранение сложных инцидентов производительности в ClickHouse, PySpark
• Проектирование и построение витрин данных в ClickHouse
• Разработка и модификация ETL/ELT-процессов для Data Mart
• Проведение код-ревью

Вам потребуется:

• Опыт работы от 3 лет (на аналогичной позиции или схожей)

• Практический опыт построения платформ данных с использованием Apache Iceberg на S3-совместимых хранилищах или Hadoop

• Уверенное владение Python (включая PySpark)

• Продвинутый опыт работы со PySpark (batch) с большими объемами данных

• Опыт проектирования таблиц в ClickHouse

• Опыт опыт работы с ClickHouse

• Отличное знание SQL и опыт оптимизации под большие объёмы данных

• Разработка, оптимизация и масштабирование ETL/ELT-процессов

• Разработка и поддержка витрин данных для аналитики и бизнес-отчетности

• Взаимодействие с аналитиками, специалистами Data Science и ML
• Понимание принципов Data Lake / Data Lakehouse

Будет плюсом:

• Опыт работы с Hive
• Опыт работы Apache Airflow
• Понимание принципов MLOps
• Опыт работы с Kafka
• Опыт работы со Spark ( streaming)
• Понимание принципов Lakehouse
• Опыт работы с кластером ClickHouse
• Участие в проектировании и развитии архитектуры хранилищ данных (DWH) и озёр данных (Data Lake);
• Понимание различных моделей данных (Star/Snow?ake, Data Vault, Anchor Modeling

Мы предлагаем:

• Профессиональное развитие в крупной MedTech компании
• Оформление по ТК РФ с первого дня в дочернюю аккредитованную ИТ компанию
• Удаленный/ гибридный формат работы
• Здоровье и поддержка: полис ДМС с телемедициной, консультациями узких специалистов и психотерапевта. Корпоративные скидки до 50% на все виды медицинских услуг для вас и ваших близких
• + 3 дня оплачиваемых выходных
• Подарок на День рождения и для детей к Новому году и Дню знаний
• Внутреннее и внешнее обучение, семинары, тренинги
• Корпоративные скидки и эксклюзивные специальные предложения от 800+ партнеров (товары, обучение, спорт, здоровье, рестораны, отдых)
• Вознаграждение за рекомендацию друзей в команду ИНВИТРО

Предлагаем насыщенную жизнь в компании! Проводим корпоративные и спортивные мероприятия, профессиональные соревнования, конкурсы для сотрудников и членов семьи. В компании у каждого сотрудника имеется возможность для профессионального и карьерного роста.