Data engineer ( Рекламная платформа)

Мы ищем Data engineer  в команду развития специализированных витрин данных.

Чем предстоит заниматься:

• разрабатывать и поддерживать витрины данных в облачной экосистеме

• проектировать и улучшать архитектуру системы

• разрабатывать и оптимизировать пайплайны обработки данных/ETL на Python / Scala, а также помогать другим командам

• внедрять контроль качества данных (SODA).

• высшее образование

• опыт в аналогичной роли от 3 лет

• понимание принципов модели распределенных вычислений

• опыт в поиске, обработке и построении витрин данных при помощи Spark и SQL

• опыт промышленной разработки на стеке Scala/Java/Python

• знание и опыт использования инструментов по обработке больших данных (Spark, Trino, Polars и др.)

• опыт работы со стримингом (Flink, Spark Streaming, Kafka и др.)

• хорошие знания SQL, опыт работы с одной из реляционной БД - Oracle/PostgreSQL/mySQL/MS SQL Server

• опыт работы с S3, HDFS

• знание любого оркестратора (AirFlow/Oozie/Dagster/Argo Workflows)

• понимание подходов к организации разработки (CI/CD, DevOps).

Будет плюсом:

• опыт работы с Iceberg

• опыт работы с DataHub/OpenMetaData

• опыт работы с SODA/GreateExpectation

• опыт работы с ClickHouse

• опыт работы с Kubernetes

• навыки работы с генеративными AI-моделями

• опыт создания AI-агентов и использования их в работе будет преимуществом.

• офис рядом с метро Маяковская

• гибридный формат работы

• годовой бонус и ежегодный пересмотр

• расширенный ДМС с первого дня + стоматология и льготное страхование для семьи

• корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях

• 90 дней удаленной работы из любого региона РФ

• льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.