Инженер данных (Hadoop)

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.

Ждем именно тебя!

Мы – новая команда в Блоке «Развитие клиентского опыта B2С, и мы ищем инженера данных, который присоединится к нашей команде и займётся разработкой и поддержкой витрин данных на базе Hadoop. Вам предстоит участвовать в разработке базовых и специальных витрин данных в Едином ПКАП B2C, готовить датасеты для обучения моделей в FeatureStore B2C, разрабатывать витрины данных на Hadoop в ПКАПе команды, реализовывать реплики в КАП Первичные данные.

• Проектирование, разработка и сопровождение витрин данных на базе Hadoop;

• Участие в разработке ETL-процессов для загрузки данных в витрины;

• Поддержка и мониторинг работы витрин данных;

• Взаимодействие с командами разработки и системными/дата-аналитиками по вопросам сбора, обработки и хранения данных;

• Разбор инцидентов качества данных, развитие автоматизированных тестов (Data Quality);

• Документирование разработанных решений.

• Практический опыт в разработке витрин данных, выстраивании ETL-процессов;

• Уверенное владение SQL (аналитические функции, подзапросы, хранимые процедуры/функции, оптимизация производительности), готовность к созданию инструментов для нужд инфраструктуры и разработки;

• Опыт работы с Hadoop (HDFS, YARN, Hive) и Spark;

• Знание Java/Scala и опыт разработки на нём;

• Опыт разработки на Python;

• Понимание инструментов и технологий Big Data;

• Знание принципов построения распределённых систем хранения и обработки данных;

• Опыт обработки и миграции больших объёмов данным между различными источниками;

• Опыт работы с системами контроля версий (Git);

• Навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом;

• Опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки.

Будет плюсом:

• Опыт работы с Kafka;

• Опыт работы с CI/CD инструментами (Jenkins, GitLab CI);

• Базовые знания Docker и иных технологий контейнеризации;

• Опыт работы с системами Unix (bash).

• Офисный формат работы (опционально)

• Годовой бонус и ежегодный пересмотр

• Расширенный ДМС с первого дня + стоматология и льготное страхование для семьи

• Корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях

• Офис на Кутузовской с зонами отдыха и спортзалом

• 90 дней удаленной работы из любого региона РФ (не применимо для сопровождения)

• Льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.