Н

Middle+/Senior Data инженер (Python)

Ищем 1 Middle+ /Senior Data инженер

Неизвестный работодатель

Зарплата не указанаРоссияУдалёнка

#аутстаф

Ищем 1 Middle+
/Senior Data инженер
(ID ••••••••)

Требования:
- Опыт в data‐инжиниринге от 4 лет;
- Уверенное владение Python: навыки работы с ООП, асинхронностью, многопоточностью; понимание типизации, умение писать тесты и проводить профилирование кода;
- Продвинутые навыки работы со Spark: умение оптимизировать и тюнинговать задачи, анализировать планы выполнения и логи;
- Глубокое понимание SQL: работа с EXPLAIN и планами выполнения запросов, настройка индексов, знание особенностей разных движков СУБД;
- Опыт работы с Airflow на прикладном уровне: использование XCom, настройка пулов и SLA, работа с KubernetesPodOperator;
- Высокий уровень владения dbt;
- Навыки эффективной работы с Git: владение командами rebase и cherry‐pick, организация версионирования релизов;
- Практический опыт с Kubernetes и Docker: умение оптимизировать контейнерные образы;
- Работа с S3: настройка lifecycle‐правил и управление версионированием объектов;
- Знания и опыт администрирования СУБД: работа с партиционированием, шардированием, репликацией, настройкой бэкапов и миграций, понимание механизмов блокировок и уровней изоляции транзакций;
- Умение создавать дашборды и настраивать алерты, в Grafana или аналогичных инструментах.

Задачи:
- Создание и развитие Spark-пайплайнов, в том числе Structured Streaming;
- Проектирование модульных и динамических DAG, разработка кастомных операторов, сенсоров и хуков;
- Построение слоистой модели в dbt (staging, intermediate, marts): реализация incremental‐моделей, снимков (snapshots), макросов, настройка Slim CI;
- Проектирование структур Data Vault 2.0 (Hub, Link, Satellite) под новые источники данных;
- Выбор архитектуры и форматов хранения данных (Parquet, Iceberg), проектирование схем с учётом ожидаемой нагрузки;
- Настройка CI/CD‐процессов в GitLab (окружения dev, stage, prod; работа с runners и механизмом approvals);
- Внедрение DQ‐фреймворков (например, Great Expectations), настройка метрик качества данных и алертов;
- Развитие Semantic Layer (Cube, MetricFlow) и выстраивание lineage в DataHub;
- Составление дата‐контрактов.

О проекте:
Крупная розничная сеть

Локация: Россия
Время работы: UTC+3
Гражданство: РФ
Формат: Удаленно
Срок привлечения: 24 месяца с возможностью пролонгации
📨 Регистрируйтесь, загружайте резюме на
•••••••• и оставляйте отклик на запрос
❗️Все актуальные запросы —
••••••••

Похожие вакансии Data Engineer

hh.ru
очаково

Руководитель группы разработки DWH / Team Lead Data Engineering

очаковоАвтоподнятие
Зарплата не указанаРоссияМоскваГибрид

Присоединяйся к команде крупнейшего пищевого производителя с известными брендами! Работа в АО МПБК Очаково это ценность каждого сотрудника и стабильный заработок!

Ключевые задачи:
· Проектирование и развитие архитектуры корпоративного хранилища данных (DWH) на стеке Microsoft: MS SQL Server, SSAS (табличные/многомерные кубы), Power BI.
· Построение ETL/ELT-пайплайнов, обеспечение надежности и качества данных.
· Формирование семантического слоя (витрины данных) для BI-отчетности и аналитики.
· Управление командой из 2–3 человек (инженер данных + BI-разработчик), распределение задач, контроль качества, наставничество.
· Выстраивание процессов разработки: контроль версий (Git), документация, регламенты, Data Governance.
· Взаимодействие с бизнес-заказчиками и аналитическим отделом: перевод бизнес-требований в технические решения.
· Участие в стратегических проектах, включая перспективное внедрение корпоративных AI-агентов (локальные LLM, RAG-архитектуры).
Обязательные требования:
· Опыт работы с данными (DWH/Data Lake) от 5 лет.
· Опыт управления командой от 3 человек.
· Экспертный SQL (оптимизация запросов, работа с терабайтными объемами).
· Глубокое знание стека Microsoft: MS SQL Server, SSAS (разработка моделей), Power BI.
· Понимание методологий построения DWH: Kimball / Inmon / Data Vault 2.0.
· Опыт интеграции данных из различных источников: ERP, CRM, API, CDC.
· Умение переводить требования бизнеса в технические решения и обратно.
· Навыки управления бэклогом разработки и ведения проектов.
Будет преимуществом:
· Опыт работы с Airflow / dbt / Python.
· Понимание Data Governance / DataOps практик.
· Опыт работы с облачными DWH (Snowflake/BigQuery/Redshift).
· Знание основ ML/AI: как работают модели, RAG, агенты, MCP.
· Опыт миграции или модернизации DWH.

Нужна уверенность в завтрашнем дне? Работай с нами!

Спасибо за отклик! Если ваше резюме соответствует вакансии, мы свяжемся с вами в ближайшее время.

Соц.сети

Senior Data Engineer

Зарплата не указанаПольшаКипрБеларусьГерманияНидерландыИспанияПортугалияГрузияЧехияЛюксембургЛатвияЛитваЭстонияВенгрияРумынияФинляндияФранцияАвстрияГрецияДанияИталияСловакияУдалёнка

Senior Data Engineer ••••••••

Местоположение: EU, Грузия, Беларусь
Формат работы: Удаленно
Опубликована: ••••••••

Требования:
• Международный опыт проектов с рабочим английским
• 5+ лет опыта, из них 2–3 года с Azure
• Стек данных Azure
• Python/PySpark, SQL

Контакт: ••••••••

•••••••• опубликована в ••••••••

Сайты компаний

Data Engineer

Автоподнятие
Зарплата не указанаКазахстанУзбекистанКиргизияГибрид
Текст:
Оригинал доступен только пользователям с подпиской

Location

Manila-based with a hybrid-first setup; fully remote work is possible for eligible roles, with core collaboration hours from 12:00 to 19:00 Manila time (UTC+8).

About the company

A technology-driven financial company building a banking and lending platform across Southeast Asia, beginning in the Philippines. It serves millions of users through a large app and partner network, combining global fintech expertise with local market knowledge.

Responsibilities

  • Design and operate batch and streaming data pipelines on Databricks and Apache Spark over AWS, ingesting from databases, APIs, and event streams.
  • Shape lakehouse architecture on S3 and Delta Lake, including medallion Bronze/Silver/Gold layering and storage optimization.
  • Own projects end to end, from stakeholder alignment and design review through implementation, launch, and ongoing support.
  • Build self-service, scalable ETL/ELT solutions and maintain governance and access control with Unity Catalog, including PII handling.

Requirements

  • Hands-on Databricks experience and strong Apache Spark skills, with PySpark and/or Scala.
  • Strong Python for data engineering, plus SQL and Spark SQL for transformation and analytics.
  • Experience with Delta Lake and lakehouse architectures, including performance optimization of Spark jobs and storage formats such as Parquet and Delta.
  • Proven project ownership and clean, testable, maintainable code with Git-based version control; infrastructure-as-code experience such as Terraform or Ansible is a plus, not required.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.