H
HireSeeker
amex development

Data Engineer senior (DWH, ETL) (Python)

Пожалуйста пишите в сопроводительном письме Вашу локацию и ожидания по з.пл.

amex development

Зарплата не указанаРоссияМоскваУдалёнка
Открыть на hh.ru

Пожалуйста пишите в сопроводительном письме Вашу локацию и ожидания по з.пл.

О проекте:

Развитие корпоративного хранилища данных крупной компании: собираем данные из десятков источников, строим витрины и обеспечиваем единую отчётность для бизнеса. Senior-инженеру предстоит отвечать за ETL-пайплайны, моделирование и качество данных - от источника до готового отчёта.

Задачи:

  • Проектировать и развивать DWH: слои, витрины и модели данных (звезда, medallion, SCD2)
  • Строить и поддерживать ETL/ELT-пайплайны на Airflow, Spark и Python
  • Работать с PostgreSQL, Greenplum и ClickHouse, оптимизировать загрузки и запросы
  • Организовывать потоковую загрузку из Kafka/RabbitMQ, следить за идемпотентностью и backfill
  • Обеспечивать качество данных: тесты, сверки с источниками, мониторинг свежести и объёмов
  • Участвовать в архитектурных решениях, проводить код-ревью и наставлять коллег
  • Вести документацию и каталог данных

Требования:

  • Опыт в Data Engineering / DWH от 5 лет
  • Продвинутый SQL: оконные функции, CTE, чтение планов, оптимизация
  • Python на уровне production-кода
  • Опыт ETL/ELT: Airflow и Spark
  • Понимание моделирования хранилищ и инкрементальной загрузки
  • Опыт работы с ClickHouse или Greenplum/PostgreSQL на больших объёмах
  • Kafka или RabbitMQ, Docker, Git, CI/CD
  • Опыт код-ревью и наставничество
  • dbt в продакшене
  • Apache Iceberg (или Delta/Hudi), Trino
  • Debezium и CDC
  • Инструменты data quality и каталоги данных
  • Kubernetes, on-prem-инфраструктура

Условия:

  • Полная занятость с графиком 5/2
  • Удалённый формат работы
  • Работа в аккредитованной ИТ-компании
  • Работа с современным стеком технологий и крупными игроками рынка
  • * Официальное трудоустройство по ТК РФ или ИП РФ
Открыть на hh.ru

Статьи для Data Engineer

Похожие вакансии Data Engineer

Соц.сети

Data Engineer

550 000–850 000 KZT (≈ 98k–152k ₽)КазахстанАстанаОфис

#вакансия #астана #оффлайн #workITkz #python
Должность: Data Engineer
Компания: ••••••••
••••••••
Город: Астана
Занятость: оффлайн
Оплата: ••••••••

Описание вакансии:
— Python
— SQL
— PostgreSQL
— MySQL
— MS SQL
— ClickHouse
— Airflow
— Spark
— Kafka
— Docker
— Git
— Data Lake / DWH
— Разрабатывать и поддерживать ETL/ELT-пайплайны на Python.
— Интегрировать данные из API, БД, файлов и облачных хранилищ.
— Работать с PostgreSQL, MySQL, MS SQL, ClickHouse.
— Настраивать и сопровождать Airflow или аналогичные инструменты.
— Оптимизировать пайплайны и SQL-запросы.
— Мигрировать большие объёмы данных между системами.
— Участвовать в проектировании data-инфраструктуры.
— Взаимодействовать с аналитиками, разработчиками и Data Science-командой.

— Опыт Data Engineer / Python Developer от 2 лет.
— Уверенный Python 3.x.
— Практический опыт ETL/ELT.
— Хороший SQL и реляционные БД.
— Airflow, Prefect или аналоги.
— Apache Spark.
— Kafka.
— Data Lake / Data Warehouse.
— Git и Docker.
Условия/working conditions:
— Полная занятость.
— Официальное трудоустройство по ТК РК.
— График 5/2, 09:00–18:00.
— Оплачиваемый отпуск.
— Современное рабочее место и техника.
— Возможности профессионального и карьерного роста.
— Участие в развитии архитектуры проектов.

Контакты:
Telegram ••••••••
Whatsapp ••••••••

hh.ru
skillstaff

Data инженер (интеграционные среды) Senior, финтех

skillstaff
Зарплата не указанаРоссияМоскваУдалёнка
Мы находимся в поиске Data инженерa в команду развития интеграционной среды и корпоративных данных. Вы будете участвовать в построении единого интеграционного слоя, развитии витрины DMDC и автоматизации подключения источников данных.

Чем предстоит заниматься:

  • Развивать интеграционную среду: подключать метаданные информационных систем к Единому интеграционному слою и витрине DMDC.
  • Создавать шаблоны в платформе управления метаданными для подключения ключевых типов СУБД: PostgreSQL, Oracle, MS SQL, ClickHouse, DB2, Elasticsearch, Tarantool.
  • Проектировать и разрабатывать Python-скрипты для автоматической генерации DDL/DML-запросов.
  • Разрабатывать и поддерживать Airflow DAG для процессов загрузки и обслуживания данных.
  • Исправлять ошибки существующих потоков и повышать их надежность.
  • Разрабатывать Airflow DAG для обслуживания таблиц Iceberg, в том числе с использованием кастомных операторов для оптимизации чтения при большом количестве delete-файлов.
  • Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.
  • Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.

Для нас важно:

  • Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.
  • Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop).
  • Практические навыки конфигурации и оптимизации Spark-приложений, управления ресурсами Spark.
  • Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
  • Навыки работы с контейнеризацией и оркестрацией в Kubernetes.
  • Опыт проведения нагрузочного тестирования систем обработки данных.
  • Экспертное владение SQL и навыки оптимизации сложных запросов.
  • Понимание основ математической статистики, анализа данных и машинного обучения (PyTorch, TensorFlow).
  • Умение работать с распределенными системами и обеспечивать консистентность данных при автоматическом определении типов схем.

Главный принцип SkillStaff - Выбирай!

  • РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.
  • КОМФОРТ. SkillStaff — аккредитованная IT-компания, белая зарплата и удобный график работы. Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке.
  • РАЗВИТИЕ. Выбирай сам путь, по которому ты хочешь развиваться. Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами.
  • КУЛЬТУРА. Нашу культуру создают сами сотрудники – мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!
Открыть на hh.ru
Соц.сети

Data Engineer

280k–320k ₽РоссияУдалёнка

#vacancy #remote #Вакансия #Удаленка #DataEngineer #Банк #PySpark #Airflow #Hadoop #Kafka #Kubernetes #SQL #Вакансия #IT

🚀 Data Engineer в Банк|компания ••••••••
📌 Проект: Развитие Единого интеграционного слоя и витрины DMDC.

🏦 Заказчик: Банк.
— Ставка: 280–320К руб/мес
— Занятость: Full time
— Длительность: долгосрочно
— Локация: РФ , гражданство РФ
— Оформление: договор с ИП

🛠 Ключевые задачи:
• Разработка потоков подключения метаданных к интеграционному слою.
• Автоматизация и шаблонизация подключения СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool).
• Написание Python-скриптов для генерации DDL/DML и Airflow DAG для загрузки/обслуживания данных.
• Оптимизация Airflow DAG для таблиц Iceberg (кастомные операторы, чтение при большом количестве delete-файлов).
• Доработка витрины DMDC и ведение проектной документации.
✅ Требования:
• Глубокая экспертиза в PySpark и Airflow.
• Опыт с нагруженными распределёнными системами (Hadoop).
• Настройка и оптимизация Spark-приложений, управление ресурсами.
• Стек Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
• Kubernetes (K8s), нагрузочное тестирование.
• Экспертный SQL + оптимизация сложных запросов.
• Знание матстатистики, анализа данных, основ ML (PyTorch/TensorFlow).
• Опыт работы в распределённых системах и обеспечение консистентности данных.
💻 Стек: PostgreSQL, MS-SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive), Spark, Iceberg, Kafka, S3, Python (Pandas, NumPy, Matplotlib), C#, SQL, Git, Jira, Kubernetes.

📩 Отклик: •••••••• (все требования и стек, если с ними был опыт, должны быть отражены в резюме!)✅

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.

Посмотреть полный каталог →Свежие вакансии Data Engineer