Модификация программного обеспечения в части расширения функционала автоматизированной системы оценки и построения рейтингов
Неизвестный работодатель
ID 3811 - Middle DWH Engineer
🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм
🏢 Проект: Транспортная компания
Модификация программного обеспечения в части расширения функционала автоматизированной системы оценки и построения рейтингов
1) Обследование действующих интеграций, состава данных и расчётов. Согласование изменений с перечнем показателей, потребителей, глубину исторических данных и периодичностью обновления.
2) Составление и актуализация необходимой документации, спецификаций источников данных, структуры данных, правил преобразования и реестра расчётов.
3) Согласование документов и изменений/дополнений в системах управления метаданными.
4) Разработка новых и доработка существующих интеграций в соответствии с согласованной схемой интеграции.
5) Разработка дата-продуктов, сервисов доступа к данным и публикации данных, витрин данных, процессов расчетов и преобразования данных в различных слоях ХД.
6) Выполнение и контроль ошибок загрузки согласованной истории данных, настройка регулярного обновления данных.
7) Тестирование процессов интеграции и обработки данных, сверка с источниками и устранение выявленных дефектов.
💡 Требования:
- Опыт работы от 2,5 лет в качестве инженера данных, разработчика ETL на SQL и Pyspark;
- Опыт работы с СУБД PostgreSQL, Apache Airflow, с API, веб-сервисами, очередями и другими стандартными технологиями интеграции данных.
Навыки:
- Экспертиза в реализации ETL / ELT для хранилищ или озер данных;
- Уверенное владение SQL и PL/SQL;
- Оптимизация SQL, в том числе для целей OLAP;
- Навыки работы с Pyspark;
- Навыки работы с Apache Airflow — создание DAG’ов, управление зависимостями ETL-пайплайнов;
- Знание подходов к разработке, документированию, тестированию потоков данных;
- Обязательно хотя бы базовый уровень (курсы, практика или самостоятельное изучение) владения Apache Hadoop (Spark, Hive или Impala);
- Опыт работы с брокерами сообщений (Kafka, RabbitMQ);
- Опыт работы в Jira, Confluence, Git.
Soft skills:
- Самостоятельность: готовность докручивать постановки от аналитиков самостоятельно, документировать результаты своей работы в базе знаний;
- Готовность работать в условиях сжатых сроков;
- Взаимодействует с разработчиками, аналитиками и архитекторами внутри проектной команды, а также смежными подразделениями и экспертами заказчика.
➕Будет плюсом:
опыт работы с S3 Minio и Apache Iceberg.
📨 Отклик — через форму: •••••••• или напрямую рекрутеру ••••••••
❗️Откликайтесь только при релевантном опыте.
❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями
❗️Повторный отклик: ID вакансии + сверка.
#DWH #Engineer #Удаленно #вакансия
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.