Head of Data (DWH / BI / Data Engineering)

Java-разработчик (Big Data / Hadoop / Greenplum / Сбер)

Грейд: Middle+ / Senior.

Загрузка: Full-time (полная занятость).

Формат: Удалённо.

Локация/Гражданство: ❗️ строго РФ ❗️ / РФ.

Клиент: Сбер.

Ищем Java-разработчика для работы в экосистеме Big Data. Роль для специалиста, который уверенно владеет Java и имеет практический опыт разработки и интеграции с распределенными системами хранения и обработки данных, в частности Hadoop и Greenplum.

Обязательные требования:

• Язык и опыт: Коммерческий опыт разработки на Java.
• Big Data (КРИТИЧНО!): Практический опыт работы с технологиями Big Data, в частности Hadoop и Greenplum.

Чем предстоит заниматься

• Разрабатывать и поддерживать ETL/ELT-процессы полного цикла;
• Строить и оптимизировать хранилище данных и витрины;
• Следить за стабильностью и производительностью data-пайплайнов;
• Участвовать в проектировании data-моделей и архитектуры;
• Внедрять проверки качества данных и мониторинг;
• Документировать решения и улучшать процессы разработки.

Мы ждём

• Опыт работы на позиции Data Engineer от 2 лет;
• Хорошее знание SQL, включая оптимизацию сложных и ресурсоёмких запросов, работа с оконными функциями;
• Опыт работы с ClickHouse, понимание особенностей колоночных БД;
• Опыт работы с Airflow: построение и сопровождение DAG-ов, анализ и устранение ошибок;
• Знание Python для data-задач: обработка данных, разработка коннекторов и утилит, написание тестов;
• Опыт разработки ETL/ELT-процессов и работы с большими объёмами данных;
• Опыт обеспечения качества данных: логирование, мониторинг, проверки, алерты, соблюдение SLA;
• Опыт работы с Git, участие в code review, понимание CI/CD и Merge/Pull Requests;
• Опыт работы с Docker. ## Будет плюсом
• Опыт работы с Sql Server, Firebird;
• Опыт работы со стриминговой обработкой данных;
• Знание подходов к моделированию данных Kimball / Data Vault;
• Опыт работы с GitLab CI;
• Использование LLM в своей работе.

Условия

• Только гибридный график или офис ( удаленного формата нет).
• Уровень ЗП обсуждается с успешным кандидатом.
• Классные ежемесячные бонусы от нас: билеты в кино, посещение боулинга\бильярда, терм, колеса обозрения и детских парков!

• Интеграция источников данных по голосовым и текстовым коммуникациям клиентов со специалистами обслуживания и поддержки;
• Реализация пакетных и потоковых сервисов обработки данных для оценки качества коммуникаций;
• Создание витрин данных для моделей машинного обучения;
• Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры.

• Опыт анализа данных - изучение семантики и связи таблиц и объектов данных, характеризующих общие бизнес-процессы, но находящихся в разных хранилищах, выявления причин расхождения семантически эквивалентных данных в разных хранилищах;
• Высокий уровень знаний языка программирования Python;
• Опыт реализации промышленных отказоустойчивых сервисов пакетной загрузки и трансформации данных (ETL) под управлением оркестратора задач Apache Airflow;
• Понимание принципов микросервисной архитектуры;
• Понимание принципов распределенных вычислений и обработки данных;
• Понимание принципов потоковой обработки данных;
• Хорошее знание платформы Apache Spark – опыт использования библиотеки pyspark;
• Знание и опыт использования платформы потоковой обработки данных Apache Kafka;
• Отличное знание SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций;
• Хорошее знание и опыт использования реляционных баз данных Oracle или PostgreSQL;
• Понимание особенностей обработки и хранения аналитических данных (OLAP), понимание отличий колоночных баз данных от строковых, знание колоночных форматов хранения данных – parquet, orc;
• Хорошее знания и опыт использования хранилищ больших данных – Hadoop/HDFS, S3 - оба, форматы таблиц Hive часть хадупа, Iceberg.

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования;
• Возможен удаленнй формат работы или гибрид;
• Сложные и интересные задачи, современный стек технологий;
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни;
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий;
• Предложения от Банка только для сотрудников: собственный спортзал, а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины.