ID 3815 — Middle/Middle+ Data инженер
Неизвестный работодатель
ID 3815 — Middle/Middle+ Data инженер
🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм
❗️Срок подачи резюме до ••••••••:00 мск
🏢 Проект: Ритейл
Проект - масштабирование и совершенствование корпоративной платформы данных для федеральной розничной сети.
💡 Требования:
- Не менее 2 лет опыта в роли data‐инженера;
- Уверенное владение Python: синтаксис, основы ООП, написание ETL‐скриптов с применением готовых библиотек, навыки отладки;
- Знание PySpark: работа с DataFrames API, понимание разницы между Action и Transformation, базовые представления об архитектуре Spark;
- Навыки работы с SQL: построение JOIN, использование агрегаций и оконных функций, базовое понимание работы индексов;
- Опыт в Airflow: настройка DAG, расписаний, операторов и сенсоров, работа с Connections и Variables, настройка ретраев и алертов;
- Владение dbt: создание моделей, источников, использование refs и Jinja, настройка материализаций, seeds и тестов;
- Работа с Git и GitLab CI: управление ветками, создание MR, участие в код‐ревью, чтение конфигураций .gitlab‐ci.yml;
- Базовые навыки в Docker: составление Dockerfile, локальная сборка и запуск контейнеров;
- Понимание различий между OLTP и OLAP, особенностей строковых и колоночных хранилищ, а также ключевых принципов Data Vault 2.0;
- Опыт работы с СУБД: PostgreSQL, ClickHouse, Greenplum, Oracle, MySQL (понимание реляционной модели и принципов ACID), базовые знания NoSQL;
- Умение работать с инструментами мониторинга: чтение дашбордов в Grafana, Sentry, Kibana.
📌Дополнительные требования
- Опыт в ритейле от 3 лет, навыки работы с Kubernetes и DataHub, знание дата‐контрактов.
📋Задачи:
- Создание и развитие ETL‐пайплайнов с использованием Python и PySpark;
- Поддержка и доработка DAG в Airflow: анализ логов, устранение типовых сбоев, выполнение backfill;
- Разработка dbt‐моделей, а также сопутствующих тестов и документации;
- Обслуживание сущностей Data Vault 2.0 (в части Satellite);
- Взаимодействие с хранилищем S3 (через boto3) и работа с СУБД;
- Выполнение базовых проверок качества данных: контроль NULL‐значений, проверка уникальности ключей и корректности типов.;
- Фиксация технической метаданных в DataHub и отслеживание статуса пайплайнов в системах мониторинга.
📨 Отклик — через форму: •••••••• или напрямую рекрутеру: ••••••••
❗️Откликайтесь только при релевантном опыте.
❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями
❗️Повторный отклик: ID вакансии + сверка.
#Data #Engineer #Удаленно #вакансия
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.