Н

Data Engineer (Python)

#Вакансия #vacancy #DataEngineer #Postgres #Trino #Cassandra #Redis #Airflow

Неизвестный работодатель

262k–328k ₽РоссияБеларусьУдалёнка

#Вакансия #vacancy #DataEngineer #Postgres #Trino #Cassandra #Redis #Airflow

Вакансия Data Engineer

🌍 Локация: РФ или РБ
📍 Формат работы: удаленно.
📄 Оформление: ИП/СМЗ
💵 ЗП: от 262.000 рублей до 328.000 рублей

!!️О проекте:
Ищем инженера данных с сильными компетенциями архитектора данных и баз данных, который сможет взять на себя планирование и проведение внедрения инструментов хранения и обработки данных. Важно иметь иметь подтвержденный опыт работы технологическим стеком проекта (Postgres, MSSQL, Kafka, Flink, Airflow, Iceberg, Trino/StarRocks), уметь проектировать целевую архитектуру хранилищ, анализировать потоки данных и выбирать релевантный инструментарий. Критичны навыки работы с современными data-инструментами, опыт проектирования пайплайнов, обеспечения качества данных и уверенное владение Python для написания DAG, кастомных операторов и интеграций.
✅Задачи:
- Разработка Data Pipelines: проектирование и реализация ETL/ELT-пайплайнов: построение DAG в Apache Airflow, написание кастомных операторов и сенсоров на Python, настройка ретраев, алертинга и зависимостей.
- Стриминг и батч-обработка: разработка стриминговых джоб на Apache Flink и батч-процессинга на Apache Spark.
- Оптимизация производительности: практический опыт поиска и устранения узких мест, оптимизация медленных SQL-запросов (анализ execution plans, индексы, партиционирование), тюнинг конфигурации движков обработки (Flink, Spark) и баз данных для минимизации потребления ресурсов (CPU, RAM, I/O).
- Обеспечение качества данных: организация тестирования трансформаций данных, внедрение механизмов проверки целостности и актуальности данных, реализация процессов нормализации и дедупликации.
- Интеграции: разработка и поддержка интеграций между системами: REST/gRPC API, базы данных, message brokers (Kafka, MQTT), файловые хранилища (S3), Timeseries DB.
- Взаимодействие с разработчиками и тестировщиками для уточнения технических ограничений и требований.

📋Требования:
- Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО.
- Опыт работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis).
- Практический опыт работы с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты).
- Опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3.
- Опыт реализации Change Data Capture паттернов для синхронизации данных между системами.
- Знания в области архитектуры данных и баз данных: понимание принципов нормализации и денормализации, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning).
- Владение Python: написание скриптов, модулей, работа с асинхронностью при необходимости; опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors.
- Умение профилировать процессы, находить bottlenecks, оптимизировать SQL-запросы и настраивать ресурсы кластеров под нагрузку.
- Опыт организации хранения данных для последующих задач OLAP / OLTP с учетом требований (consistency / integrity).
- Опыт организации обработки данных в рамках задач OLAP / OLTP с применением различных паттернов (batch processing, CDC).
- Понимание ключевых особенностей и сценариев применения различных паттернов организации интеграционных потоков (batch processing, CDC) с учетом их характеристик (3V+).
- Умение структурировать информацию, работать с требованиями, документировать технические решения.
📋Будет плюсом:
- Опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.).
- Глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production-среде.
- Знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE).
- Опыт работы с CI/CD для data-пайплайнов.
- Понимание принципов DDD, event-driven архитектуры.
- Опыт работы с Apache NiFi.

📩 Отклик: ••••••••.

Похожие вакансии Data Engineer

hh.ru
т-банк. ит. разработка

Дата-инженер

т-банк. ит. разработкаАвтоподнятие
Зарплата не указанаРоссияЧелябинскГибрид

В Т‑Банк большое и продвинутое хранилище данных: это 8000 объектов, 800 ТБ в Greenplum и 110 ТБ в Clickhouse. С данными активно работают более 16 тысяч пользователей из бизнес-команд — они ежедневно принимают десятки решений с опорой на них. А наша команда делает все, чтобы доступ к данным был простым и ими было удобно пользоваться. Мы постоянно совершенствуем подходы к работе и стараемся быть новаторами на рынке технологий. Мы ищем в команду дата-инженера. В Т‑Банке вы сможете развиваться в одном из двух направлений — системном анализе и ETL-разработке. Или совмещать их, если вам интересны оба.

Обязанности:
  • Участвовать в формировании модели данных
  • Проектировать и разрабатывать витрины и потоки данных на основе потребностей бизнес-пользователей
  • Участвовать в проектах по развитию Data Platform
  • Писать скрипты SQL и Python, это опционально
  • Прорабатывать интеграции с внешними системами для Data Platform
Требования:
  • Свободно владеете SQL
  • Работали с DWH в качестве аналитика или разработчика
  • Понимаете теорию СУБД- и ETL-процессов
  • Есть опыт проектирования объектов БД на основании бизнес требований
Условия:
  • Возможность работы в аккредитованной ИТ-компании
  • Работу из офиса. График работы — гибридный
  • Платформу обучения и развития Т-Апгрейд. Курсы, тренинги, вебинары и базы знаний. Поддержка менторов и наставников, помощь в поиске точек роста и карьерном развитии
  • Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. Предложим льготное страхование вашим близким
  • Компенсацию такси и затрат на спорт
  • Компенсацию обедов. А если захотите перекусить, есть кухня с чаем, кофе и фруктами
  • Достойную зарплату — обсудим ее на собеседовании
hh.ru
Т

Data Engineer

туласофт
200k–250k ₽РоссияБелгородУдалёнка

Data Engineer

Общие требования

Опыт работы инженером данных или в смежных областях от 5 лет

Технические требования ниже

TBD

Требования к кандидату

опыт работы с фреймворками обработки данных (Apache Spark, Apache Flink, Apache NiFi, Apache Airflow);

понимание принципов ETL, опыт работы с ETL-процессами и инструментами;

хорошие знания SQL (на уровне относительно сложных запросов) и опыт работы с реляционными СУБД;

знание архитектуры хранилищ данных: DWH, Data Lake (Greenplum, Hadoop (HDFS, Hive), Clickhouse, Trino, S3)

понимание принципов Data Governance и Data Quality;

понимание основных типов интеграций и взаимодействия систем;

навыки работы с REST API и интеграцией внешних источников;

навыки работы с Git.

Будет плюсом:

знание и опыт программирования на Python/Java (+Spring)/Groovy/Scala;

опыт работы с нереляционными базами данных;

опыт работы с инструментами CI/CD (Jenkins, GitLab pipelines, TeamCity и пр.);

опыт работы с Docker, Kubernetes;

опыт работы с облачными системами.

hh.ru
D

Data Engineer

delve
Зарплата не указанаБеларусьМинскГибрид

Who We Are:

Delve Deeper is a performance media agency dedicated to helping clients grow their customer base by integrating the power of tech and data into media. We operate as one high-functioning team, driven by our professional “Fire in the Belly,” and a shared passion for delivering exceptional value. Our focus: delighting clients and creating an engaging, growth-focused environment for our team.

We offer services across digital marketing management, first-party data science and consulting, and adtech/martech systems integration and reselling—at a global scale. Our strength lies in connecting the dots between data, technology, and media. We help our clients identify their superfans, deterministically find more of them, and convert them online in the most efficient way possible.

Delve Deeper has been recognized as one of Built In Colorado’s “Best Places to Work” for four consecutive years. Our culture emphasizes continuous professional development, meaningful impact, and a strong commitment to supporting our team—through self-care, family, community, and career growth. As a privately owned company, we move quickly and purposefully, avoiding red tape and paving a clear path for passionate professionals.

Here’s What You’ll Do:

  • Develop and maintain reliable ETL/ELT pipelines that ingest data from third-party APIs, databases, and files into BigQuery.
  • Design and implement SQL transformations, data models, views, and data quality checks for analytics and reporting.
  • Build and operate GCP services (eg. Cloud Run / Cloud Functions, Cloud Storage, related infrastructure, etc)
  • Manage scheduled workflows and transformation dependencies with tools such as dbt/Dataform and Airflow / Cloud Composer.
  • Use Terraform, Docker, Git (&GHA), and CI/CD practices to support reproducible and maintainable deployments.
  • Troubleshoot pipeline failures, improve observability, and implement retries, incremental loading, and backfill strategies.
  • Collaborate with analytics and client-facing teams to translate data requirements into dependable datasets and documentation.

Here’s What You Bring:

  • Practical experience developing data pipelines using Python and SQL.
  • Strong SQL skills, including joins, CTEs, window functions, query optimization, and data modeling.
  • Hands-on experience with BigQuery and core GCP services such as Cloud Storage, Cloud Run / Cloud Functions, Pub/Sub, IAM, and Secret Manager, etc.
  • Experience integrating REST APIs, including authentication, pagination, rate limits, error handling, and retries.
  • Familiarity with SQL transformation and orchestration tools such as dbt/Dataform and Apache Airflow / Cloud Composer (or comparable tools).
  • Working knowledge of Terraform, Docker, Git/GitHub, and CI/CD fundamentals.
  • Understanding of incremental loads, idempotency, data validation, logging, and production troubleshooting.
  • Good written and spoken English for technical documentation and collaboration.

Nice To Have:

  • Experience with Salesforce, GA4, Google Ads, Meta, CM360, The Trade Desk, or other marketing and advertising data sources.
  • Familiarity with Power BI or Looker and the data structures supporting BI reporting.
  • Experience with Kubernetes, or event-driven architectures.
  • Hands-on experience with MLOps, including deploying, monitoring, and maintaining machine learning models in production environments.

How Success Is Measured:

Within the first few months, you can independently deliver and support scoped API-to-BigQuery integrations and SQL transformations, follow team engineering standards, investigate data issues, and proactively communicate risks and dependencies.

What Delve Deeper Offers

  • Work schedule: 12 pm- 8 pm
  • A competitive salary and an annual bonus opportunities
  • A promote from within culture and the chance to define your career growth
  • Health and dental insurance (after trial period)
  • 28 calendar PTO days
  • Flexible sick days policy backed by full 100% short-time disability coverage
  • Brand new office in Minsk, built and designed exclusively for DELVE
  • English language tuition covered for specific positions
  • Compensation of sports facilities (after trial period)
  • Mental health reimbursement (after trial period)
  • Generous employee referral bonuses
  • Hybrid Working Model: Tuesdays, Wednesdays, Thursdays in office with the option to work from home on Mondays and Fridays

Please submit your CV in English!

Ссылка на Общереспубликанский банк вакансий на информационном портале государственной службы занятости не размещается на основании абз.5 ст. 34 закона Республики Беларусь «О занятости населения»

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.