мегафон

Дата инженер (Python)

Анализировать пакеты ODI, извлекать метаданные, фиксировать бизнес-логику. Реверс-инжиниринг ODI сценариев

мегафон

Зарплата не указанаУдаленный формат

Обязанности

  • Анализировать пакеты ODI, извлекать метаданные, фиксировать бизнес-логику. Реверс-инжиниринг ODI сценариев
  • Проектировать и реализовывать миграцию. Переводить ETL-логику из ODI в DAG`и Apache AirFlow
  • Разрабатывать ETL/ELT-пайплайны
  • Обеспечивать качество данных (DQ-проверки), настраивать алерты, дашборды мониторинга
  • Управлять артефактами, CI/CD. Настраивать пайплайны деплоя DAG-ов, версионирование кода (Git), листинг, тестирование (unit/integration), управлять зависимостями (включая whl-пакеты для PySpark-компонентов)
  • Документировать и передавать знания

Требования

  • Образование – высшее техническое, математическое или экономическое
  • Опыт работы от 3 лет в роли дата-инженера
  • Практический опыт миграции или глубокой поддержки ETL-решений (ODI, Informatica, SSIS и т.п.) – понимание структуры пакетов, переменных, маппингов, планировщиков
  • Уверенные знания и опыт практического применения:

- Apache Airflow – архитектура, DAG-дизайн, операторы, хуки, сенсоры, обработка ошибок, backfill, переменные/конфиги

- Python для написания DAG-ов и кастомной логики

- SQL – сложные запросы, оптимизация кода

- PySpark для пакетной обработки данных

- Git, базовые навыки CI/CD, понимание версионирования и тестирования кода

- Работа с контейнеризацией (Docker) и деплоем DAG-ов в контейнерной среде

- Навыки формирования Python-пакетов для переносимости Spark-логики

- Знание dbt, инструментов моделирования данных и подходов к слоям DWH

- Опыт настройки мониторинга (Prometheus/Grafana, AirFlow UI)

Похожие вакансии Data Engineer

Сайты компаний

Data Engineer

Автоподнятие
166k–248k ₽Не указана странаЛокация не указана
Текст:
Оригинал доступен только пользователям с подпиской

Location

Work from offices in Cyprus, Armenia, or Kazakhstan, or fully remote; employment is not available in Russia or Belarus.

About the company

An international game development company focused on bringing core gaming experiences to casual players. It operates as part of a larger holding of game studios and works across multiple countries.

Responsibilities

  • Design and build batch and streaming data pipelines, including ingestion from internal and external sources
  • Own and evolve the Bronze and Silver layers of the data platform, developing data lake and data warehouse models
  • Optimize Spark-based processing, maintain dbt models and data contracts, and support Kafka streaming pipelines
  • Implement monitoring, observability, and data quality checks while collaborating with analytics, marketing, platform, and backend teams

Requirements

  • 5+ years of data engineering experience with strong SQL and Python skills
  • Production experience building ETL/ELT pipelines and hands-on work with Spark/PySpark, including streaming
  • Knowledge of distributed data processing and storage, data lake and data warehouse architectures, Delta tables, Parquet, and S3
  • Practical experience with orchestration tools such as Airflow, Kafka streaming, and maintaining production-grade pipelines with observability and data quality practices
Сайты компаний

Эксперт Data Инженер

Автоподнятие
Зарплата не указанаКазахстанАстана
Текст:
Оригинал доступен только пользователям с подпиской

Локация

Астана, работа в офисе.

О компании

Крупная финансовая организация, развивающая цифровые сервисы и проекты в сфере данных.

Что нужно делать

  • Поддерживать и контролировать потоки и модели данных в реляционном и нереляционном DWH
  • Подбирать методы и инструменты для оптимального решения задач хранилища
  • Анализировать ошибки, выстраивать надёжные процессы обработки данных и давать рекомендации по росту производительности и качества данных

Требования

  • Продвинутый SQL и опыт работы с реляционными БД Oracle и Greenplum
  • Практика с платформами больших данных Hadoop, Hive и Apache Spark
  • Опыт ETL-процессов с Airflow, Python, Informatica PC и Informatica DEI
  • Понимание распределённых систем, структур данных и алгоритмов, аналитические навыки; английский на уровне чтения технической документации
hh.ru
Зарплата не указанаРоссияМоскваГибрид

О нас:

Главгосэкспертиза России – Учреждение, где масштабные проекты становятся реальностью. Мы проводим экспертизу ключевых объектов страны, работаем с лидирующими технологиями и формируем будущее строительной отрасли. Здесь инженерные решения встречаются с передовыми IT-разработками, а экспертиза становится важнейшим этапом на пути к безопасному и современному будущему.

Мы ожидаем:

  • Опыт коммерческой разработки в роли Data Engineer, Analytics Engineer или Backend-разработчика с упором на данные от [1-3] лет.
  • Отличное знание SQL и PostgreSQL (понимание принципов работы индексов, планов запросов, оконных функций, проектирование схем данных).
  • Уверенное знание Python (написание скриптов, кастомных операторов для Airflow, работа с API).
  • Опыт работы с Apache Airflow (написание DAGs, работа с сенсорами, хуками, оптимизация расписаний).
  • Понимание принципов контейнеризации (Docker, docker-compose).
  • Опыт подготовки данных для BI-систем (понимание, как строить витрины под Power BI, Superset, Metabase).
  • Умение переводить бизнес-требования в технические решения и выстраивать процессы работы с данными.

Будет вашим преимуществом:

  • Опыт работы с объектными хранилищами (S3, MinIO).
  • Понимание принципов DataOps, CI/CD для кода и данных.
  • Опыт настройки мониторинга, логирования и алертинга для пайплайнов.

Ключевые навыки (Теги для hh.ru):

Python, SQL, PostgreSQL, Apache Airflow, Docker, ETL, ELT, Power BI, Витрины данных, Apache Superset, Metabase

Ключевые задачи:

  • Проектировать, разрабатывать и поддерживать ETL/ELT пайплайны с использованием Apache Airflow.
  • Развивать архитектуру реляционного хранилища данных на базе PostgreSQL, писать сложный SQL, оптимизировать запросы и проектировать витрины данных.
  • Подготавливать и структурировать данные для систем бизнес-аналитики: Power BI, Apache Superset, Metabase.
  • Контейнеризировать решения и обеспечивать бесшовный деплой с помощью Docker.
  • Взаимодействовать с аналитиками, дата-сайентистами и бизнесом для сбора требований и превращения их в работающие data-продукты.

Мы предлагаем:

  • работу в стабильной государственной организации с соблюдением трудового законодательства
  • полугодовое и годовое премирование (система целей и показателей)
  • пакет ДМС после испытательного срока и страховку для тех, кто любит путешествовать
  • корпоративное и внешнее обучение
  • систему материальной помощи
  • активную спортивную жизнь внутри Учреждения: бег, футбол, йога, волейбол, настольной теннис, шахматы, пулевая стрельба и много другое
  • разнообразные возможности досуга: лекции на различные темы, кинопоказы, экскурсии и праздничные мероприятия с участием членов семьи
  • современное офисное пространство по адресу: м. Октябрьская, ул. Большая Якиманка, д. 42, стр. 1-2
  • график работы 5/2, суббота и воскресенье - выходные дни

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.