
Мы развиваем направление аналитики и работы с данными транзакционного бизнеса. Ищем в команду инженера по данным, который будет помогать строить дата-продукты с основным фокусом на разработку в Hadoop-экосистеме.
СБЕР На сервисе с: 21.10.26 18:40
Мы развиваем направление аналитики и работы с данными транзакционного бизнеса. Ищем в команду инженера по данным, который будет помогать строить дата-продукты с основным фокусом на разработку в Hadoop-экосистеме.
анализировать требования бизнеса по получению новых данных, оценивать наличие данных, сложности и риски
искать зависимости в данных различных источников с учетом бизнес-специфики их хранения
проектировать и разрабатывать аналитические витрины и ETL/ELT-пайплайны в Hadoop-экосистеме
разрабатывать и оптимизировать Hive/Spark SQL, SQL-запросы и прототипы
работать с HDFS, Hive, Spark, форматами хранения Parquet, партиционированием и бакетированием
тестировать ETL и выявлять баги при построении дата-продуктов.
участвовать совместно с владельцем продукта в процессе приемки витрин данных заказчиками
развивать экспертизу по вопросам работы с данными внутри команды
обеспечивать доступность, контроль качества и целостность данных.
опыт работы в роли DE/DA/ETL Developer не менее 1 года
практический опыт разработки на Hadoop: Hive, Spark, HDFS, понимание принципов MapReduce/Spark
отличное знание SQL: вложенные запросы, оконные функции, регулярные выражения, CTE
понимание MPP СУБД. Опыт Greenplum — будет преимуществом
знание основных понятий и концепций из области DWH
знание инструментов DevOps: Git, Nexus, Jenkins, SonarQube; любые IDE
как плюс — опыт работы с языками программирования: Scala, Java, Python
умение работать с большим количеством источников данных
Стек:
Hadoop, Hive, Spark, SQL, ETL, Git, Jira, IntelliJ IDEA, Jupyter Notebook.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.