Н

Middle+/Senior Data инженер (Python)

ID 3816 — Middle+ /Senior Data инженер

Неизвестный работодатель

Зарплата не указанаРоссияУдалёнка

ID 3816 — Middle+/Senior Data инженер

🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм

❗️Срок подачи резюме до ••••••••:00 мск

🏢 Проект: Ритейл
Проект - развитие и архитектурное совершенствование корпоративной платформы данных для крупной розничной сети.

💡 Требования:
- Опыт в data‐инжиниринге от 4 лет;
- Уверенное владение Python: навыки работы с ООП, асинхронностью, многопоточностью; понимание типизации, умение писать тесты и проводить профилирование кода;
- Продвинутые навыки работы со Spark: умение оптимизировать и тюнинговать задачи, анализировать планы выполнения и логи;
- Глубокое понимание SQL: работа с EXPLAIN и планами выполнения запросов, настройка индексов, знание особенностей разных движков СУБД;
- Опыт работы с Airflow на прикладном уровне: использование XCom, настройка пулов и SLA, работа с KubernetesPodOperator;
- Высокий уровень владения dbt;
- Навыки эффективной работы с Git: владение командами rebase и cherry‐pick, организация версионирования релизов;
- Практический опыт с Kubernetes и Docker: умение оптимизировать контейнерные образы;
- Работа с S3: настройка lifecycle‐правил и управление версионированием объектов;
- Знания и опыт администрирования СУБД: работа с партиционированием, шардированием, репликацией, настройкой бэкапов и миграций, понимание механизмов блокировок и уровней изоляции транзакций;
- Умение создавать дашборды и настраивать алерты, в Grafana или аналогичных инструментах.

📌Дополнительные требования
- Опыт работы в ритейле от 3 лет, навыки работы с Kubernetes и DataHub, знание подхода с дата‐контрактами.

📋Задачи:
- Создание и развитие Spark-пайплайнов, в том числе Structured Streaming;
- Проектирование модульных и динамических DAG, разработка кастомных операторов, сенсоров и хуков;
- Построение слоистой модели в dbt (staging, intermediate, marts): реализация incremental‐моделей, снимков (snapshots), макросов, настройка Slim CI;
- Проектирование структур Data Vault 2.0 (Hub, Link, Satellite) под новые источники данных;
- Выбор архитектуры и форматов хранения данных (Parquet, Iceberg), проектирование схем с учётом ожидаемой нагрузки;
- Настройка CI/CD‐процессов в GitLab (окружения dev, stage, prod; работа с runners и механизмом approvals);
- Внедрение DQ‐фреймворков (например, Great Expectations), настройка метрик качества данных и алертов;
- Развитие Semantic Layer (Cube, MetricFlow) и выстраивание lineage в DataHub;
- Составление дата‐контрактов.

📨 Отклик — через форму: •••••••• или напрямую рекрутеру: ••••••••

❗️Откликайтесь только при релевантном опыте.

❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями

❗️Повторный отклик: ID вакансии + сверка.

#Data #Engineer #Удаленно #вакансия

Похожие вакансии Data Engineer

Соц.сети

Senior Data Engineer

Зарплата не указанаПольшаКипрБеларусьГерманияНидерландыИспанияПортугалияГрузияЧехияЛюксембургЛатвияЛитваЭстонияВенгрияРумынияФинляндияФранцияАвстрияГрецияДанияИталияСловакияУдалёнка

Senior Data Engineer ••••••••

Местоположение: EU, Грузия, Беларусь
Формат работы: Удаленно
Опубликована: ••••••••

Требования:
• Международный опыт проектов с рабочим английским
• 5+ лет опыта, из них 2–3 года с Azure
• Стек данных Azure
• Python/PySpark, SQL

Контакт: ••••••••

•••••••• опубликована в ••••••••

Сайты компаний

Data Engineer

Автоподнятие
Зарплата не указанаКазахстанУзбекистанКиргизияГибрид
Текст:
Оригинал доступен только пользователям с подпиской

Location

Manila-based with a hybrid-first setup; fully remote work is possible for eligible roles, with core collaboration hours from 12:00 to 19:00 Manila time (UTC+8).

About the company

A technology-driven financial company building a banking and lending platform across Southeast Asia, beginning in the Philippines. It serves millions of users through a large app and partner network, combining global fintech expertise with local market knowledge.

Responsibilities

  • Design and operate batch and streaming data pipelines on Databricks and Apache Spark over AWS, ingesting from databases, APIs, and event streams.
  • Shape lakehouse architecture on S3 and Delta Lake, including medallion Bronze/Silver/Gold layering and storage optimization.
  • Own projects end to end, from stakeholder alignment and design review through implementation, launch, and ongoing support.
  • Build self-service, scalable ETL/ELT solutions and maintain governance and access control with Unity Catalog, including PII handling.

Requirements

  • Hands-on Databricks experience and strong Apache Spark skills, with PySpark and/or Scala.
  • Strong Python for data engineering, plus SQL and Spark SQL for transformation and analytics.
  • Experience with Delta Lake and lakehouse architectures, including performance optimization of Spark jobs and storage formats such as Parquet and Delta.
  • Proven project ownership and clean, testable, maintainable code with Git-based version control; infrastructure-as-code experience such as Terraform or Ansible is a plus, not required.
Сайты компаний
СБЕР

Data engineer в команду GigaChat (TTS)

СБЕРАвтоподнятие
Зарплата не указанаРоссияМосква

Наша команда отвечает за качество моделей TTS в GigaChat – той части нейросети, которая занимается звуком. Сейчас мы ищем ребят, которые будут работать над базовым качеством, мультимодальным Гигачатом и другими классными проектами.

Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Писать пайплайны обработки аудио/видео данных.

Хотим обрабатывать десятки тысяч часов в день на кластере

инферить опенсорсные и внутренние модели на гпу (денойзер, распознавание, тулы для оценки качества аудио)

поддержка сетевого хранилища данных

  • python и алгоритмы на хорошем уровне

  • опыт с multithreading и multiprocess

  • опыт обучения и/или инференса тяжелых моделей на нескольких гпу

  • s3, dvc, git

  • гибридный или удаленный формат работы

  • ежегодный пересмотр зарплаты и годовая премия

  • корпоративный спортзал и зоны отдыха

  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

Эта вакансия также есть на:Getmatch

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.