Главный дата-инженер/Hadoop

Приглашаем присоединиться к проекту направленного на реализацию комплексного решения по индивидуализации ценообразования банковских продуктов физ.лиц. Наша цель – создание автономной расчетной системы для анализа сценариев, поиска оптимального сценария и его реализацию через индивидуальное предложение клиенту с использованием автономных AI агентов. Мы хотим построить передовую в РФ экосистему с принципиально новым клиентским опытом.

Ключевые направления: индивидуализация ценового предложения продуктов кредитов физ.лиц, дебетовых и кредитных карт, вкладов, текущих счетов, инвестиционных продуктов, линейки подписок и пакетов, создание ИТ решения управления лимитами и полномочиями продающих подразделений банка; создание инструментов для расчета экономической эффективности финансовых пилотов.

Обязанности

• проектирование и реализация высоконагруженных распределённых решений на основе Apache Spark
• разработка batch и streaming ETL-процессов
• поддержка архитектуры корпоративных хранилищ данных (DWH, Data Lake, LakeHouse)
• создание и оптимизация запросов на SQL и Spark SQL
• участие в архитектурных сессиях и проектирование дизайна системы
• проведение code review, обеспечение соблюдения стандартов кодирования.

Требования

• опыт разработки на Python от 3-х лет, с использованием pySpark
• опыт работы с python data фреймворками (Pandas/Numpy)
• понимание принципов SDLC и практический опыт создания python приложений с использованием распределенных вычислений, понимание принципов ООП, SOLID, паттернов проектирования
• отличные знания SQL (Advanced) и опыт работы в аналитике данных (DWH, Data Lake, Lake House)
• опыт в построении ETL
• опыт работы с AI инструментами для повышения эффективности
• понимание принципов CI/CD, подходов обеспечения качества.

Будет плюсом:

• инструментальное владение AI для анализа, генерации и автоматизации
• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
• опыт работы с Kafka, интеграционных взаимодействий (HTTP, REST, GraphQL)
• опыт работы с Docker, Kubernetes
• понимание основ Machine Learning (ML)
• желание развивать навыки в технологиях genAI (Agentic, RAG etc.).

Условия

• только гибридный формат работы, г. Москва, г. Санкт-Петербург, г.Самара
• годовой бонус и ежегодный пересмотр зарплаты
• расширенный ДМС с первого дня и льготное страхование для семьи
• корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду.

Core Портал продавцов — это юнит со всеми продуктами WB для продавцов. Здесь есть личный кабинет, загрузка и хранение контента, интеграция с поиском и каталогом, баланс продавца, отгрузка товаров и доставка до покупателя, аналитика и многое другое. Это 1/4 всего бизнеса WB. В сервисе более 1 млн. поставщиков, ежедневный оборот - 5 млрд. рублей.

Вам предстоит:
—Участвовать в разработке data-transfer инструмента, который позволит автоматизировать процесс перегрузки данных с различных источников;
— Формировать хранилище данных на HDFS и ClickHouse;
— Дорабатывать и оптимизировать существующие, а также писать новые Airflow-операторы;
— Оптимизировать интеграции со стриминговыми источниками данных (Kafka);
— Формировать витрины для аналитики и поставлять их в BI-инструмент.

Формат работы: удаленный формат

Вы нам подойдете, если:
— Имеете уверенный опыт программирования на Python (от 5 лет);
— Имеете опыт работы с Java/Scala (Flink огромным плюсом);
— Имеете опыт с hadoop (spark/yarn/hdfs/hive), с apache Airflow / Dagster и со Spark (Pyspark);
— Имеете опыт в оптимизации SQL запросов (индексы, партицирование, шардирование и тд);
— Имеете опыт работы с MPP СУБД (ClickHouse/GreenPlum/Vertica).