Ищем 1 Middle+ /Senior Data инженер
Неизвестный работодатель
#аутстаф
Ищем 1 Middle+/Senior Data инженер
(ID ••••••••)
Требования:
- Опыт в data‐инжиниринге от 4 лет;
- Уверенное владение Python: навыки работы с ООП, асинхронностью, многопоточностью; понимание типизации, умение писать тесты и проводить профилирование кода;
- Продвинутые навыки работы со Spark: умение оптимизировать и тюнинговать задачи, анализировать планы выполнения и логи;
- Глубокое понимание SQL: работа с EXPLAIN и планами выполнения запросов, настройка индексов, знание особенностей разных движков СУБД;
- Опыт работы с Airflow на прикладном уровне: использование XCom, настройка пулов и SLA, работа с KubernetesPodOperator;
- Высокий уровень владения dbt;
- Навыки эффективной работы с Git: владение командами rebase и cherry‐pick, организация версионирования релизов;
- Практический опыт с Kubernetes и Docker: умение оптимизировать контейнерные образы;
- Работа с S3: настройка lifecycle‐правил и управление версионированием объектов;
- Знания и опыт администрирования СУБД: работа с партиционированием, шардированием, репликацией, настройкой бэкапов и миграций, понимание механизмов блокировок и уровней изоляции транзакций;
- Умение создавать дашборды и настраивать алерты, в Grafana или аналогичных инструментах.
Задачи:
- Создание и развитие Spark-пайплайнов, в том числе Structured Streaming;
- Проектирование модульных и динамических DAG, разработка кастомных операторов, сенсоров и хуков;
- Построение слоистой модели в dbt (staging, intermediate, marts): реализация incremental‐моделей, снимков (snapshots), макросов, настройка Slim CI;
- Проектирование структур Data Vault 2.0 (Hub, Link, Satellite) под новые источники данных;
- Выбор архитектуры и форматов хранения данных (Parquet, Iceberg), проектирование схем с учётом ожидаемой нагрузки;
- Настройка CI/CD‐процессов в GitLab (окружения dev, stage, prod; работа с runners и механизмом approvals);
- Внедрение DQ‐фреймворков (например, Great Expectations), настройка метрик качества данных и алертов;
- Развитие Semantic Layer (Cube, MetricFlow) и выстраивание lineage в DataHub;
- Составление дата‐контрактов.
О проекте:
Крупная розничная сеть
Локация: Россия
Время работы: UTC+3
Гражданство: РФ
Формат: Удаленно
Срок привлечения: 24 месяца с возможностью пролонгации
📨 Регистрируйтесь, загружайте резюме на •••••••• и оставляйте отклик на запрос
❗️Все актуальные запросы — ••••••••
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.