H
HireSeeker
гипер

Lead Data Engineer / Архитектор платформы данных (Python)

giper.fm — технологическая компания на стыке e-commerce, digital-маркетинга, аналитики и рекламных технологий. У нас сильная команда Data Engineers и Data Analysts и современный стек: реляционное ядро DWH, Lakehouse для финансовых и внешни…

гипер

Зарплата не указанаРоссияСанкт-ПетербургМоскваГибрид
Локации:Санкт-ПетербургМосква

Доступно в нескольких локациях — формат работы уточняется в карточке.

Открыть на hh.ru

giper.fm — технологическая компания на стыке e-commerce, digital-маркетинга, аналитики и рекламных технологий. У нас сильная команда Data Engineers и Data Analysts и современный стек: реляционное ядро DWH, Lakehouse для финансовых и внешних отчётов, федеративный движок запросов и быстрый колоночный слой витрин в ClickHouse для BI.

Бизнес и объёмы данных растут, и наша цель — перевести платформу из режима «быстро доставили первые витрины» в надёжную, масштабируемую и прозрачную систему уровня production. Легаси на 10 лет и многомесячных комитетов у нас нет, поэтому вы работаете в коротком плече с бизнесом.

Сейчас мы ищем Lead Data Engineer, который возьмёт на себя техническое лидерство, выстроит системный Data Quality, свяжет разрозненные сервисы трансформаций в единую управляемую архитектуру и задаст инженерные стандарты.

Чем предстоит заниматься:

Архитектура и развитие платформы данных

  • Отвечать за целевую архитектуру гибридной платформы (реляционный DWH + Lakehouse + аналитические витрины в ClickHouse) и её масштабирование под рост бизнеса.
  • Провести ревизию существующих сервисов наполнения хранилища и сборки витрин, устранить узкие места по производительности и конкуренции за вычислительные ресурсы.
  • Спроектировать и внедрить централизацию SQL-трансформаций и сквозной граф зависимостей (Data Lineage от источника до BI-дашборда).
  • Развивать прагматичный IaC / GitOps-подход: управление схемами, конфигурациями и централизованной ролевой моделью доступа (RBAC).

Data Quality и Data Governance

  • Перевести контроль качества данных из реактивного режима (по обратной связи от бизнеса) в проактивный автоматизированный конвейер.
  • Внедрить блокирующие проверки качества (Quality Gates / Write-Audit-Publish) между посадочным слоем и боевыми витринами в ClickHouse, а также входную валидацию (дата-контракты) для внешних и внутренних источников.
  • Настроить автоматическую кросс-системную сверку операционных данных (ядро DWH) и закрывающих документов/фактов (Silver-слой в Lakehouse) через федеративный движок запросов (Trino).
  • Развивать культуру прагматичного Data Governance без лишней бюрократии: каталог доменов, единый глоссарий бизнес-метрик, правила работы со слоями и снижение Bus Factor в команде.

Техническое лидерство и процессы (DE + Аналитика)

  • Быть техническим лидером для команды инженеров данных: проводить архитектурное и код-ревью, помогать в сложных оптимизациях запросов и физических моделей хранения.
  • Выстроить четкий процесс взаимодействия и приемки задач (Definition of Done) на стыке Data Engineering и Аналитики, чтобы витрины сдавались без таймаутов и расхождений в цифрах.

Что мы ожидаем от кандидата:

  • Экспертный SQL и физика СУБД. Глубокое понимание внутреннего устройства ClickHouse (движки семейства MergeTree, разреженный первичный индекс и ORDER BY, партиционирование, Dictionaries, профилирование через system.query_log, стоимость тяжелых JOIN и мутаций) и опыт проектирования ядер DWH на реляционных / MPP СУБД (PostgreSQL, Greenplum или аналоги: планы выполнения EXPLAIN ANALYZE, индексы, секционирование, блокировки).
  • Lakehouse и распределенные движки. Практический опыт с Trino / Presto (федеративные запросы, распределенные и broadcast-джойны, управление памятью воркеров), объектными хранилищами (S3 / MinIO), табличными и файловыми форматами (Delta Lake / Apache Iceberg / Parquet), каталогами метаданных (Hive Metastore и аналоги), понимание механизмов компактификации (optimize / vacuum) и партиционирования в озере данных.
  • Инженерия пайплайнов, код и оркестрация. Уверенное владение Python (сервисы инжеста и обработки данных, работа с API, deltalake / pyarrow / polars / pandas без OOM) и промышленная работа с Apache Airflow (идемпотентные DAG'и, динамическая генерация задач, запуск в изолированных окружениях Docker / Kubernetes).
  • Трансформации, CI/CD и прагматичный IaC. Опыт централизации и стандартизации слоя трансформаций (например, внедрение dbt) и выстраивания сквозного Data Lineage; выстраивание доставки кода через GitLab CI/CD, управление миграциями схем БД, секретами (Vault) и ролевой моделью доступов (RBAC / SSO) через код (GitOps).
  • Инженерный подход к Data Quality и Observability. Практический опыт внедрения конвейеров качества данных (паттерн Write-Audit-Publish, атомарная подмена партиций REPLACE PARTITION / EXCHANGE TABLES, валидация схем и дата-контрактов на входе, технические метатаблицы аудита, мониторинг и алертинг в стеке уровня Prometheus / Grafana / Loki).
  • Архитектурный прагматизм и техническое лидерство. Опыт проектирования хранилищ (подходы Кимбалла, Data Vault, гибридные слоистые архитектуры Bronze/Silver/Gold, raw/stg/core/mart), умение аргументированно выбирать технологии под задачу и размер команды (KISS / YAGNI), проводить глубокое код-ревью и менторить инженеров.

Будет плюсом:

  • Понимание того, как современные BI-системы генерируют запросы к ClickHouse, и умение проектировать слой витрин и представлений под быстрые дашборды.
  • Опыт работы с данными e-commerce, маркетплейсов, ретейла и digital-маркетинга.

Что мы предлагаем:

  • Современный стек без легаси. ClickHouse, Trino, Lakehouse (Delta Lake / Iceberg), Apache Airflow, dbt, GitLab CI/CD, Kubernetes — вы работаете с актуальными инструментами, а не поддерживаете десятилетние системы.
  • Влияние на архитектуру. Вы напрямую выбираете технологии, задаёте инженерные стандарты и определяете, как развивается платформа данных компании.
  • Гибридный формат работы; после прохождения испытательного срока возможна полная удаленка.
  • Пятидневная рабочая неделя. Можно выбрать удобный график: 09:00–18:00 или 10:00–19:00.
  • Уютный офис-опенспейс в Санкт-Петербурге в районе метро «Московская» (БЦ «Аэроплаза») или в Москве, в районе метро "Крылатское".
  • Активная корпоративная жизнь: английский, йога, покер, забеги, велозаезды и три корпоратива в год.

Открыть на hh.ru

Статьи для Data Engineer

Похожие вакансии Data Engineer

hh.ru
Т

Data Engineer

туласофт
200k–250k ₽РоссияБелгородУдалёнка

Data Engineer

Общие требования

Опыт работы инженером данных или в смежных областях от 5 лет

Технические требования ниже

TBD

Требования к кандидату

опыт работы с фреймворками обработки данных (Apache Spark, Apache Flink, Apache NiFi, Apache Airflow);

понимание принципов ETL, опыт работы с ETL-процессами и инструментами;

хорошие знания SQL (на уровне относительно сложных запросов) и опыт работы с реляционными СУБД;

знание архитектуры хранилищ данных: DWH, Data Lake (Greenplum, Hadoop (HDFS, Hive), Clickhouse, Trino, S3)

понимание принципов Data Governance и Data Quality;

понимание основных типов интеграций и взаимодействия систем;

навыки работы с REST API и интеграцией внешних источников;

навыки работы с Git.

Будет плюсом:

знание и опыт программирования на Python/Java (+Spring)/Groovy/Scala;

опыт работы с нереляционными базами данных;

опыт работы с инструментами CI/CD (Jenkins, GitLab pipelines, TeamCity и пр.);

опыт работы с Docker, Kubernetes;

опыт работы с облачными системами.

Открыть на hh.ru
hh.ru
D

Data Engineer

delve
Зарплата не указанаБеларусьМинскГибрид

Who We Are:

Delve Deeper is a performance media agency dedicated to helping clients grow their customer base by integrating the power of tech and data into media. We operate as one high-functioning team, driven by our professional “Fire in the Belly,” and a shared passion for delivering exceptional value. Our focus: delighting clients and creating an engaging, growth-focused environment for our team.

We offer services across digital marketing management, first-party data science and consulting, and adtech/martech systems integration and reselling—at a global scale. Our strength lies in connecting the dots between data, technology, and media. We help our clients identify their superfans, deterministically find more of them, and convert them online in the most efficient way possible.

Delve Deeper has been recognized as one of Built In Colorado’s “Best Places to Work” for four consecutive years. Our culture emphasizes continuous professional development, meaningful impact, and a strong commitment to supporting our team—through self-care, family, community, and career growth. As a privately owned company, we move quickly and purposefully, avoiding red tape and paving a clear path for passionate professionals.

Here’s What You’ll Do:

  • Develop and maintain reliable ETL/ELT pipelines that ingest data from third-party APIs, databases, and files into BigQuery.
  • Design and implement SQL transformations, data models, views, and data quality checks for analytics and reporting.
  • Build and operate GCP services (eg. Cloud Run / Cloud Functions, Cloud Storage, related infrastructure, etc)
  • Manage scheduled workflows and transformation dependencies with tools such as dbt/Dataform and Airflow / Cloud Composer.
  • Use Terraform, Docker, Git (&GHA), and CI/CD practices to support reproducible and maintainable deployments.
  • Troubleshoot pipeline failures, improve observability, and implement retries, incremental loading, and backfill strategies.
  • Collaborate with analytics and client-facing teams to translate data requirements into dependable datasets and documentation.

Here’s What You Bring:

  • Practical experience developing data pipelines using Python and SQL.
  • Strong SQL skills, including joins, CTEs, window functions, query optimization, and data modeling.
  • Hands-on experience with BigQuery and core GCP services such as Cloud Storage, Cloud Run / Cloud Functions, Pub/Sub, IAM, and Secret Manager, etc.
  • Experience integrating REST APIs, including authentication, pagination, rate limits, error handling, and retries.
  • Familiarity with SQL transformation and orchestration tools such as dbt/Dataform and Apache Airflow / Cloud Composer (or comparable tools).
  • Working knowledge of Terraform, Docker, Git/GitHub, and CI/CD fundamentals.
  • Understanding of incremental loads, idempotency, data validation, logging, and production troubleshooting.
  • Good written and spoken English for technical documentation and collaboration.

Nice To Have:

  • Experience with Salesforce, GA4, Google Ads, Meta, CM360, The Trade Desk, or other marketing and advertising data sources.
  • Familiarity with Power BI or Looker and the data structures supporting BI reporting.
  • Experience with Kubernetes, or event-driven architectures.
  • Hands-on experience with MLOps, including deploying, monitoring, and maintaining machine learning models in production environments.

How Success Is Measured:

Within the first few months, you can independently deliver and support scoped API-to-BigQuery integrations and SQL transformations, follow team engineering standards, investigate data issues, and proactively communicate risks and dependencies.

What Delve Deeper Offers

  • Work schedule: 12 pm- 8 pm
  • A competitive salary and an annual bonus opportunities
  • A promote from within culture and the chance to define your career growth
  • Health and dental insurance (after trial period)
  • 28 calendar PTO days
  • Flexible sick days policy backed by full 100% short-time disability coverage
  • Brand new office in Minsk, built and designed exclusively for DELVE
  • English language tuition covered for specific positions
  • Compensation of sports facilities (after trial period)
  • Mental health reimbursement (after trial period)
  • Generous employee referral bonuses
  • Hybrid Working Model: Tuesdays, Wednesdays, Thursdays in office with the option to work from home on Mondays and Fridays

Please submit your CV in English!

Ссылка на Общереспубликанский банк вакансий на информационном портале государственной службы занятости не размещается на основании абз.5 ст. 34 закона Республики Беларусь «О занятости населения»
Открыть на hh.ru
Другие площадки
R

data engineer

red
Зарплата не указанаНе указана странаЛокация не указана

Задачи

  • Проектировать и разрабатывать пайплайны обработки данных;
  • Поддерживать и развивать DWH/ETL-процессы;
  • Рефакторить код;
  • Анализировать и переносить источники данных в отчетности.

Требования

  • Коммерческий опыт разработки от 3 лет;
  • Уверенно владеть MSSQL, T-SQL, SQL, оптимизацией запросов и хранимыми процедурами;
  • Иметь опыт работы с Python от 2 лет;
  • Иметь опыт работы с Airflow от 1 года: построение и сопровождение DAG, планирование и мониторинг;
  • Понимать принципы построения ETL/ELT-пайплайнов, работы с большими объемами данных, обеспечения отказоустойчивости и идемпотентности загрузок;
  • Уверенно владеть Git;
  • Иметь опыт проектирования и разработки пайплайнов данных с нуля, участвовать в архитектурных решениях;
  • Иметь опыт рефакторинга кода, оптимизации производительности запросов и повышения отказоустойчивости;
  • Уметь разбираться в чужом коде, самостоятельно прорабатывать технические решения и декомпозировать сложные задачи;
  • Иметь опыт работы с инцидентами;
  • Иметь опыт аналитических задач по изменению источников данных в отчетности, сверке данных и валидации результатов миграции;
  • Не иметь проектов в Лемана, Петрович Тех, ВБ, Озон, Лента Тех, Яндекс Маркет и М.Видео за последние 6 месяцев;
  • Будет плюсом опыт работы в e-com.

Условия

  • Долгосрочный проект;
  • Локация: РФ, в идеале — Москва, Екатеринбург или Саранск.
Открыть на HireHi

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.

Посмотреть полный каталог →Свежие вакансии Data Engineer