
Senior Data Engineer
Направление: Data Engineering / DWH / ETL
Уровень: Middle+ / Senior
Опыт работы: от 3 лет в Data Engineering или смежных направлениях.
Ищем Data Engineer для разработки и развития инфраструктуры обработки данных и корпоративного хранилища (DWH).
Специалист будет отвечать за построение ETL/ELT-процессов, интеграцию данных из банковских систем, автоматизацию загрузок, обеспечение качества и доступности данных.
Основные обязанности
Разработка процессов получения данных из Oracle через CDC (Debezium, Kafka, Kafka Connect).
Разработка и поддержка DAG в Apache Airflow для автоматизации загрузки и обработки данных.
Проектирование слоёв данных: Staging, исторические данные (SCD2), Data Marts.
Разработка и оптимизация ETL/ELT-процессов с использованием SQL и PL/SQL.
Интеграция данных из различных источников в корпоративное хранилище (DWH).
Организация выгрузки данных в объектные хранилища (S3, MinIO).
Контроль качества данных, мониторинг загрузок и обработка ошибок.
Настройка мониторинга и алертинга для контроля актуальности данных и работы пайплайнов.
Подготовка технической документации, описание структур данных и Data Lineage.
Обязательные требования
Опыт работы Data Engineer от 3 лет.
Уверенное владение SQL: сложные запросы, оконные функции, оптимизация.
Глубокие знания Oracle и PL/SQL: пакеты, индексы, планы выполнения, работа с большими объёмами данных.
Опыт разработки на Python и автоматизации обработки данных.
Практический опыт работы с Apache Airflow или аналогичными оркестраторами.
Знание Apache Kafka, Kafka Connect и принципов CDC.
Опыт работы с Debezium или аналогичными инструментами.
Понимание моделирования данных: Fact/Dimension, SCD2, инкрементальная загрузка и идемпотентность.
Опыт работы с Git, Code Review и Docker.
Будет преимуществом
Опыт CDC-интеграции с Oracle: LogMiner, Redo/Archive Logs, SCN, Oracle GoldenGate.
Знание PostgreSQL / Postgres Pro и PL/pgSQL.
Опыт работы в банковской или финансовой сфере, понимание АБС и банковской отчётности.
Опыт оптимизации загрузки и обработки больших объёмов данных.
Практический опыт работы с GitLab CI/CD.
Знание инструментов мониторинга Prometheus, Grafana, Zabbix.
Личные качества
Аналитическое мышление и умение находить первопричины технических проблем.
Способность самостоятельно разбираться в сложных задачах.
Готовность уточнять требования и задавать вопросы при необходимости.
Ответственность, самостоятельность и открытая коммуникация с командой.
Условия:
Перед тем, как откликаться на вакансию, просим внимательно ознакомиться с требованиями, если Вы тот самый то мы вас ждем.
С уважением, HR Департамент
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.