Data-инженер (middle+/senior), ритейл (Python)
Мы в поисках data-инженера на проект крупного ритейлера.
Зарплата не указанаРоссияМоскваУдалёнка
Мы в поисках data-инженера на проект крупного ритейлера.
Чем предстоит заниматься:
- Создавать и развивать Spark-пайплайнов, в том числе Structured Streaming.
- Проектировать модульные и динамические DAG, разрабатывать кастомные операторы, сенсоры и хуки.
- Заниматься построением слоистой модели в dbt (staging, intermediate, marts): реализация incremental‑моделей, снимков (snapshots), макросов, настройка Slim CI.
- Проектировать структуры Data Vault 2.0 (Hub, Link, Satellite) под новые источники данных.
- Участвовать в выборе архитектуры и форматов хранения данных (Parquet, Iceberg), проектирование схем с учётом ожидаемой нагрузки.
- Настроивать CI/CD‑процессы в GitLab (окружения dev, stage, prod; работа с runners и механизмом approvals).
- Внедрять DQ‑фреймворки (например, Great Expectations), настроивать метрики качества данных и алертов.
- Заниматься развитием Semantic Layer (Cube, MetricFlow) и выстраиванием lineage в DataHub.
- Составлять дата‑контракты.
Для нас важно:
- Опыт в data‑инжиниринге от 4 лет.
- Уверенное владение Python: навыки работы с ООП, асинхронностью, многопоточностью; понимание типизации, умение писать тесты и проводить профилирование кода.
- Продвинутые навыки работы со Spark: умение оптимизировать и тюнинговать задачи, анализировать планы выполнения и логи.
- Глубокое понимание SQL: работа с EXPLAIN и планами выполнения запросов, настройка индексов, знание особенностей разных движков СУБД.
- Опыт работы с Airflow на прикладном уровне: использование XCom, настройка пулов и SLA, работа с KubernetesPodOperator.
- Высокий уровень владения dbt.
- Навыки эффективной работы с Git: владение командами rebase и cherry‑pick, организация версионирования релизов.
- Практический опыт с Kubernetes и Docker: умение оптимизировать контейнерные образы.
- Работа с S3: настройка lifecycle‑правил и управление версионированием объектов.
- Знания и опыт администрирования СУБД: работа с партиционированием, шардированием, репликацией, настройкой бэкапов и миграций, понимание механизмов блокировок и уровней изоляции транзакций.
- Умение создавать дашборды и настраивать алерты, в Grafana или аналогичных инструментах.
Главный принцип SkillStaff - Выбирай!
- ЭКСПЕРТИЗА. Делай выбор в пользу проектов с разным уровнем сложности и экспертных команд, где можно работать с лучшими специалистами и обмениваться опытом.
- РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.
- КОМФОРТ. Создавай идеальные условия для своей работы: удаленный формат работы на территории РФ.
Похожие вакансии Data Engineer
hh.ru
Зарплата не указанаРоссияМоскваОфис
ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.
Ждем именно тебя!
Мы – новая команда в Блоке «Развитие клиентского опыта B2С, и мы ищем инженера данных, который присоединится к нашей команде и займётся разработкой и поддержкой витрин данных на базе Hadoop. Вам предстоит участвовать в разработке базовых и специальных витрин данных в Едином ПКАП B2C, готовить датасеты для обучения моделей в FeatureStore B2C, разрабатывать витрины данных на Hadoop в ПКАПе команды, реализовывать реплики в КАП Первичные данные.
Обязанности
- проектирование, разработка и сопровождение витрин данных на базе Hadoop
- участие в разработке ETL-процессов для загрузки данных в витрины;
- поддержка и мониторинг работы витрин данных
- взаимодействие с командами разработки и системными/дата-аналитиками по вопросам сбора, обработки и хранения данных;
- разбор инцидентов качества данных, развитие автоматизированных тестов (Data Quality)
- документирование разработанных решений.
Требования
- практический опыт в разработке витрин данных, выстраивании ETL-процессов
- уверенное владение SQL (аналитические функции, подзапросы, хранимые процедуры/функции, оптимизация производительности), готовность к созданию инструментов для нужд инфраструктуры и разработки;
- опыт работы с Hadoop (HDFS, YARN, Hive) и Spark
- знание Java/Scala и опыт разработки на нём
- опыт разработки на Python
- понимание инструментов и технологий Big Data
- знание принципов построения распределённых систем хранения и обработки данных
- опыт обработки и миграции больших объёмов данным между различными источниками
- опыт работы с системами контроля версий (Git)
- навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
- опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки.
Будет плюсом:
- опыт работы с Kafka
- опыт работы с CI/CD инструментами (Jenkins, GitLab CI)
- базовые знания Docker и иных технологий контейнеризации
- опыт работы с системами Unix (bash).
Условия
- комфортный современный офис рядом с м. Кутузовская
- возможность выбрать удобный график – офис/гибрид
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.