Участие в миграции ИС на Apache стек
Неизвестный работодатель · На сервисе с: 31.08.26 15:04
ID 3509
Data Engineer / Technical Lead
Senior / TeamLead
Клиент: Телекоммуникации
#Проект:
Участие в миграции ИС на Apache стек
#Условия:
- Длительность: до конца 2027 г.
- Занятость: полная
- Локация: РФ❗️❗️❗️
- Гражданство: РФ, РБ
- Рабочий график: МСК ± 2
- Формат: Удаленно
- Плановый срок рассмотрения кандидата: 7±3 дн.
- Дополнительно: Все требования обязательны
#Позиция:
- Роль: Data Engineer / Technical Lead
- Уровень: Senior / TeamLead
- Количество: 1
- Английский: -
#Обязательно:
- Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД;
- Опыт разработки и сопровождения хранимых процедур / функций в СУБД;
- Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных;
- Опыт участия в проектах миграции ETL-систем (Apache стек);
- Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API);
- Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка);
- Опыт работы с PySpark (трансформации, оптимизация, партиционирование);
- Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum);
- Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка;
- Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы;
- Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT;
- Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC);
- Опыт работы с Оracle;
- Опыт применения сложных SQL-запросов (оконные функции, джоины);
- Умение оптимизировать запросы для highload-среды;
- Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
- Опыт настройки потоковой обработки данных;
- Опыт работы с Hadoop и Hive (знание версий, источников данных);
- Опыт работы с PostgreSQL, Greenplum, Clickhouse;
- Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов;
- Опыт работы с биллингом;
- Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики);
#Желательно:
- Опыт в системном анализе ETL;
- Опыт TeamLead (управление командой) не менее 4 лет;
- Умение переводить бизнес-требования в технические спецификации;
- Опыт подготовки документации для пользователей и разработчиков;
- Опыт создания ER-диаграмм, инструкций, тест-кейсов.
#Задачи:
- Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры.
- Подготовка документации AS IS и TO BE;
- Написание SQL кода;
- Отслеживание метрик.
#Важно, резюме должно отражать:
- Расписано, чем занимался на каждом проекте
- Указаны навыки и программы которые использовались
- Ключевые компетенции: ETL, Apache стек, Spark, NiFi, Airflow, SQL-запросы, Grafana/Prometheus
❗️❗️❗️Писать ••••••••⚡️⚡️⚡️⚡️ С РЕЗЮМЕ В КОТОРОМ УКАЗАН ВОЗРАСТ И ЛОКАЦИЯ НАХОЖДЕНИЯ. Укажите 🆔 вакансии❗️ Без этой информации отклики не рассматриваются ❗️❗️
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.