ID 3816 — Middle+ /Senior Data инженер
Неизвестный работодатель
ID 3816 — Middle+/Senior Data инженер
🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм
❗️Срок подачи резюме до ••••••••:00 мск
🏢 Проект: Ритейл
Проект - развитие и архитектурное совершенствование корпоративной платформы данных для крупной розничной сети.
💡 Требования:
- Опыт в data‐инжиниринге от 4 лет;
- Уверенное владение Python: навыки работы с ООП, асинхронностью, многопоточностью; понимание типизации, умение писать тесты и проводить профилирование кода;
- Продвинутые навыки работы со Spark: умение оптимизировать и тюнинговать задачи, анализировать планы выполнения и логи;
- Глубокое понимание SQL: работа с EXPLAIN и планами выполнения запросов, настройка индексов, знание особенностей разных движков СУБД;
- Опыт работы с Airflow на прикладном уровне: использование XCom, настройка пулов и SLA, работа с KubernetesPodOperator;
- Высокий уровень владения dbt;
- Навыки эффективной работы с Git: владение командами rebase и cherry‐pick, организация версионирования релизов;
- Практический опыт с Kubernetes и Docker: умение оптимизировать контейнерные образы;
- Работа с S3: настройка lifecycle‐правил и управление версионированием объектов;
- Знания и опыт администрирования СУБД: работа с партиционированием, шардированием, репликацией, настройкой бэкапов и миграций, понимание механизмов блокировок и уровней изоляции транзакций;
- Умение создавать дашборды и настраивать алерты, в Grafana или аналогичных инструментах.
📌Дополнительные требования
- Опыт работы в ритейле от 3 лет, навыки работы с Kubernetes и DataHub, знание подхода с дата‐контрактами.
📋Задачи:
- Создание и развитие Spark-пайплайнов, в том числе Structured Streaming;
- Проектирование модульных и динамических DAG, разработка кастомных операторов, сенсоров и хуков;
- Построение слоистой модели в dbt (staging, intermediate, marts): реализация incremental‐моделей, снимков (snapshots), макросов, настройка Slim CI;
- Проектирование структур Data Vault 2.0 (Hub, Link, Satellite) под новые источники данных;
- Выбор архитектуры и форматов хранения данных (Parquet, Iceberg), проектирование схем с учётом ожидаемой нагрузки;
- Настройка CI/CD‐процессов в GitLab (окружения dev, stage, prod; работа с runners и механизмом approvals);
- Внедрение DQ‐фреймворков (например, Great Expectations), настройка метрик качества данных и алертов;
- Развитие Semantic Layer (Cube, MetricFlow) и выстраивание lineage в DataHub;
- Составление дата‐контрактов.
📨 Отклик — через форму: •••••••• или напрямую рекрутеру: ••••••••
❗️Откликайтесь только при релевантном опыте.
❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями
❗️Повторный отклик: ID вакансии + сверка.
#Data #Engineer #Удаленно #вакансия
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.