Data Engineer (Сербия) (Python)

Betera — это больше, чем работа. Мы — команда профессионалов, которые создают тренды, вдохновляют друг друга на амбициозные цели и достигают успеха на рынке Беларуси вместе. Здесь каждый может гордиться тем, что делает, реализовывать свои идеи и расти в окружении единомышленников.

Мы стремительно развиваемся и готовы делиться опытом и знаниями. Если для тебя важно быть с лидерами, в центре внимания, создавать значимые проекты и двигать индустрию вперед, будем рады видеть тебя в нашей команде!

Именно поэтому мы ищем в нашу команду Data Engineer!

Что будет входить в твои задачи:

• Разрабатывать и оркестрировать пайплайны: проектировать и оптимизировать ELT/ETL-процессы с использованием Apache Airflow и dbt;
• Интегрировать внешние и внутренние источники данных: REST API, базы данных, Kafka, Web Scraping, Google Sheets;
• Проектировать и развивать DWH и аналитические витрины на базе Trino / Apache Iceberg в S3;
• Обеспечивать качество данных: разрабатывать автоматические проверки (dbt tests, Soda / Great Expectations), настраивать мониторинг аномалий и алертинг;
• Оптимизировать SQL-запросы и процессы обработки данных, повышать производительность DWH;
• Поддерживать существующие пайплайны и интеграции, находить и устранять возникающие проблемы;
• Вести техническую документацию по архитектуре данных, слоям DWH и интеграциям.

• преимуществ, подготовка рекомендаций.

Наши ожидания:

• От 3 лет опыта в Data Engineering;
• Уверенное знание SQL: сложные запросы, оконные функции, агрегации, понимание планов выполнения и оптимизации запросов;
• Уверенное владение Python для задач Data Engineering: работа с API, библиотеками обработки данных и написание скриптов автоматизации;
• Практический опыт построения и оркестрации пайплайнов в Apache Airflow;
• Практический опыт работы с dbt: модели, макросы, тесты;
• Понимание принципов проектирования DWH и построения слоев данных; знание подходов Data Vault, Kimball / Inmon;
• Практический опыт настройки проверок Data Quality;
• Базовые навыки работы с Docker и Git.

Будет плюсом:

• Опыт системного анализа источников данных: умение самостоятельно разбираться в структуре данных и преобразовывать её в аналитическую модель;
• Понимание принципов хранения данных в объектных хранилищах (AWS S3) и опыт работы с форматами таблиц Apache Iceberg / Delta Lake;
• Опыт работы с распределенными SQL-движками (Trino / Presto) или аналитическими БД (ClickHouse);
• Опыт работы с каталогами данных (Project Nessie, Apache Polaris, AWS Glue);
• Базовый опыт работы с PySpark;
• Опыт работы с потоковыми данными и Apache Kafka;
• Базовое понимание Kubernetes, в том числе запуск задач через KubernetesPodOperator;
• Опыт взаимодействия с BI-системами (Apache Superset, Power BI, Tableau).

Мы предлагаем:

• Конкурентная заработная плата, а также бонусы;
• Приятный график 5/2 с 10:00 до 18:00 и гибридный формат работы после испытательного срока;
• 5 Days Off и 16 Hours off для решения личных дел в рабочее время;
• Современный офис около метро в одном из самых ярких зданий нашего города – БЦ "Футурис". Для тебя в офисе есть зоны отдыха с массажным креслом, настольным теннисом, бильярдом, PS, скалодромом и настольными играми;
• Оплата внешнего обучения для повышения твоих hard skills, а также внутренняя база для обучения;
• Компенсация транспорта – на твой выбор проездной на общественный транспорт, такси или топливо;
• Компенсация медицинской страховки и занятий спортом, а также бесплатный шеринг велосипедов и билеты на спортивные мероприятия;
• Ты сможешь участвовать в насыщенной корпоративной жизни за счет компании: ежегодные летние и зимние корпоративные мероприятия. Вместе с Betera Team плаваем на байдарках, участвуем в полумарафонах, сажаем деревья и просто круто отдыхаем;
• Ты также сможешь присоединиться к нашим волонтерским проектам: мы помогаем приютам для животных, а также поддерживаем экологию в нашем “зеленом офисе” и за его пределами.

Звучит интересно? Ждем твое CV!

*Если твой опыт окажется подходящим для данной вакансии, мы обязательно свяжемся с тобой в течение недели. Если нет, то не расстраивайся, возможно, "твоя" вакансия ждет тебя впереди!

Ссылка на Общереспубликанский банк вакансий на информационном портале государственной службы занятости не размещается на основании абз.5 ст. 34 закона Республики Беларусь «О занятости населения»

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7

Продукт Контрольно-надзорная деятельность осуществляет проект по автоматизации процессов Государственной инспекции по контролю за использованием объектов недвижимости Москвы, Главконтроля и еще 8 органов исполнительной власти города Москвы в рамках реализации реформы контрольной и надзорной деятельности в городе Москве.

Сейчас команда активно растёт и продолжает набирать темп, поэтому мы в поисках новых талантов!

Что нужно делать:

• управлять кросс-функциональной командой
  - обеспечивать эффективное взаимодействие между БА, СА, дата-инженерами, дата-аналитиками, тестировщиками и разработчиками
  - распределять задачи с учётом профиля специалистов и приоритетов проектов
  - участвовать в найме, онбординге и менторстве новых членов команды

• планировать и контролировать исполнения
  - декомпозировать задачи, оценивать трудоёмкость, формировать спринты и бэклог
  - контролировать сроки и качество реализации (ETL/ELT-процессы, витрины данных, отчётность, API-слои)
  - предоставлять отчётность по метрикам команды: скорость, загрузка, качество данных

• техническое лидерство и архитектура
  - проектировать и развивать архитектуру ДВХ (Data Lake, Data Warehouse, Data Marts)
  - выбирать и внедрять технологии: СУБД (ClickHouse, Greenplum, PostgreSQL, MongoDB), оркестрация (Airflow), обработка данных (Spark, Python/Java/Scala).
  - обеспечивать методологию Data Vault 2.0, оптимизировать запросы, репликации и шардинг.
  - управлять интеграциями через брокеры сообщений (Kafka), REST API

Какие знания и навыки нам важны:

• опыт разработки или анализа данных от 5 лет, из них не менее 2 лет в роли Team Lead / Tech Lead

• успешное управление командой от 5 человек (включая аналитиков и инженеров данных)

• опыт построения процессов работы с данными в высоконагруженной среде (микросервисы, большие объёмы)

• языки программирования: знание Python (pandas, PySpark, FastAPI/Flask, DBT) и дополнительно Java/Scala – для понимания стека инженеров

• SQL: уверенное владение (сложные запросы, оконные функции, CTE, оптимизация) – для код-ревью и помощи аналитикам/инженерам

• СУБД и хранилища: опыт с ClickHouse, Greenplum, PostgreSQL, Oracle, MongoDB

• оркестрация и ETL: практический опыт с Apache Airflow, DBT, понимание ETL/ELT-подходов

• моделирование данных: знание методологии Data Vault 2.0, Data Lake / Data Warehouse

• брокеры сообщений: Kafka (потоки данных, интеграции)
  - CI/CD и Git: GitLab CI, Git (ветвление, ревью)

Что предлагаем:

• рыночную зарплату и премии
• драйвовые задачи и ресурсы для их реализации
• преимущества аккредитованной IT-компании
• материальную помощь в случае важных событий в жизни
• корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке
• корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие
• комьюнити по интересам
• скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.
  
  Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!

Представляем вам уникальную возможность стать частью дружной команды МРИИ — самого престижного курорта Крыма, расположенного в живописном месте на берегу Чёрного моря с потрясающим видом и 300 солнечными днями в году. Мы входим в экосистему Сбера.

В связи с расширением компании мы приглашаем на работу Разработчика интеграционной платформы / ESB (Apache Camel / Kafka / NiFi).

Что мы предлагаем:

• Официальное трудоустройство в соответствии с ТК РФ.
• Удалённая работа (возможны редкие командировки).
• График работы: 5/2, с 9:00 до 18:00 по московскому времени.
• Премирование по итогам года.
• Очное и онлайн-обучение, программы развития талантов, корпоративная библиотека.
• Активная корпоративная жизнь: мероприятия, экскурсии и походы по Крыму, клубы по интересам, тренировки по 13 видам спорта (теннис, бассейн, фитнес, йога, кроссфит, футбол, волейбол, баскетбол и др.).
• Специальные предложения на проживание, а также другие услуги и товары комплекса.
• Вознаграждение за рекомендацию друзей в команду МРИИ.
• Корпоративные продукты Сбербанка (ипотека, льготное кредитование, рефинансирование).
• Специальные предложения для сотрудников от партнёров компании.

Чем предстоит заниматься:

• Разработка коннекторов и адаптеров на выбранной интеграционной платформе (Apache NiFi / Apache Camel / Kafka Connect / Node-RED — по согласованию с архитектором) и с использованием брокера Apache Kafka.
• Реализация ETL/ELT-потоков и потоковой обработки данных (stream processing).
• Настройка и сопровождение Kafka: топиков, партиций, consumer groups, retention, репликации, Schema Registry (Avro/Protobuf).
• Обеспечение надёжности доставки сообщений: паттерны Transactional Outbox, идемпотентность, семантика exactly-once, dead letter queues, экспоненциальные ретраи.
• Интеграция с реляционными СУБД (PostgreSQL, Oracle), в том числе с использованием CDC (Debezium).
• Интеграция с 1С (OData, HTTP-сервисы, обмен через EnterpriseData).
• Настройка безопасности (mTLS, ACL Kafka, OAuth2/JWT) и горизонтального масштабирования.
• Мониторинг и обеспечение наблюдаемости: метрики (Prometheus + Grafana), логирование (ELK/Loki), distributed tracing (OpenTelemetry / Jaeger).
• Покрытие потоков автотестами, участие в code review, ведение технической документации.

Пожелания к кандидату:

• Практический опыт построения интеграций на одной из платформ: Apache NiFi, Apache Camel (Spring Boot / Quarkus / Karaf), Kafka Connect + Kafka Streams, WSO2 EI, MuleSoft, Node-RED или аналогичной.
• Знание Apache Kafka: архитектура (партиции, retention, репликация), producer/consumer, consumer groups, управление offset, Schema Registry.
• Уверенное программирование на одном из языков: Java / Kotlin / Go / Python / JavaScript (Node.js).
• Знание интеграционных протоколов и форматов: REST, SOAP, MQTT, gRPC, JSON/XML, Avro/Protobuf.
• Опыт работы с реляционными СУБД: PostgreSQL и/или Oracle (SQL, оптимизация запросов, работа из приложений).
• Знание паттернов интеграции: маршрутизация, трансформация, агрегация, идемпотентность, retry/circuit breaker.
• Git, code review, CI/CD-практики.

Будет преимуществом:

• Контейнеризация и оркестрация: Docker, Kubernetes (Helm).
• CI/CD: GitLab CI, Jenkins, ArgoCD.
• Наблюдаемость: Prometheus, Grafana, ELK/Loki, OpenTelemetry, Jaeger.
• Участие в проектировании корпоративной шины данных: маршрутизация, трансформация и обогащение сообщений между ERP, CRM, HRS, ELMA BPM, 1С и внешними сервисами (КЭДО, мобильные приложения, облачные платформы).

Если вы ищете интересную работу в стабильной и развивающейся компании, присоединяйтесь к МРИИ! Мы будем рады видеть вас в нашей команде.