ID 3060 - Middle+ /Senior Data инженер (ETL-миграция)
Неизвестный работодатель · На сервисе с: 11.07.26 03:23
ID 3060 - Middle+/Senior Data инженер (ETL-миграция)
🌍 Локация: РФ
👫Гражданство: РФ
💼 Удаленно (МСК ± 2)
🕔 Занятость: фулл тайм
🏢 Проект: Телеком
Участие в миграции ИС на Apache стек
💡 Требования:
- Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек);
- Глубокий SQL: оконные функции, сложные джойны, иерархические запросы;
- Оптимизация SQL для highload (партиционирование, индексы, explain plans);
- Oracle (PL/SQL) и PostgreSQL;
- Greenplum и/или Clickhouse;
- Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow;
- Hadoop (HDFS) и Hive;
- Мониторинг ETL: Grafana/Prometheus или Victoria Metrics;
- Опыт работы с биллинговыми системами (телеком-домен).
📌Желательно:
- Потоковая обработка: Kafka Streams / Spark Streaming;
- Informatica PowerCenter (понимание мигрируемой системы);
- Бинарные форматы хранения в Hadoop;
- Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL;
- Patroni для кластеризации PostgreSQL/Greenplum;
- S3-хранилища;
- КриптоПро или защищенные каналы передачи данных.
📋Задачи:
- Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum);
- Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код;
- Написание и оптимизация SQL для витрин данных и ETL-процессов;
- Разработка DAG-ов в Airflow;
- Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы);
- Разработка Spark-джобов (PySpark) для больших объемов;
- Интеграция с Kafka для потоковой передачи;
- Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик;
- Разбор инцидентов по качеству данных и ошибкам загрузки;
- Code review.
❗Резюме должно отражать:
По каждому проекту: чем занимался, какие технологии использовал.
⚙️Ключевые компетенции для отбора:
миграция ETL-систем,
SQL (оконные функции, оптимизация),
Oracle PL/SQL,
PostgreSQL, Greenplum, Clickhouse,
Apache Spark (PySpark), NiFi, Airflow, Kafka,
Hadoop, Hive,
Grafana/Prometheus,
биллинг, телеком.
📨 Отклик — через форму: •••••••• или напрямую рекрутеру ••••••••
❗️Откликайтесь только при релевантном опыте.
❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями
❗️Повторный отклик: ID вакансии + сверка.
#Data #Engineer #Удаленно #вакансия
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.