Data Engineer DLH / Инженер данных Data Lakehouse

Развиваем DWH Дзена на YTsaurus: от слоёв хранилища и data quality до сервисов, которыми ежедневно пользуются аналитики и продуктовые команды.

Что делаем:

• Хранилище: многослойная модель raw → ods → dds → cdm → stg → export со строгими соглашениями именования и data quality поверх ~120 пайплайнов с алертингом
• Дата-продукты: каталог таблиц и трекинг SLA доезда данных (lineage/governance), кастомный планировщик workflow, бот-интерфейс к сервисам DWH 
• Работаем в монорепозитории (>1200 модулей-трансформаций) с автоматизированным code review через CI и дежурствами

Ищем инженера широкого профиля: данные + сервисы. 

Задачи

• Развивать внутренние продукты команды: проектировать и писать сервисы, API, интеграции
• Проектировать и развивать модели данных по слоям хранилища
• Писать и оптимизировать трансформации на YQL и Python
• Поддерживать и расширять оркестрацию пайплайнов
• Развивать мониторинг качества данных и реагировать на инциденты
• Участвовать в ревью и поддерживать инженерную планку команды

Требования

• Уверенный Python: production-код, сервисы, а не только скрипты
• Крепкий SQL и понимание аналитических запросов и их оптимизации
• Опыт проектирования и поддержки бэкенд-сервисов / API / интеграций
• Понимание, как устроен слоёный DWH (модели данных, инкрементальная загрузка, партиционирование)
• Аккуратность к качеству данных и к соглашениям (именование, технические поля)

VK Реклама — платформа, которая объединяет все крупнейшие в России и СНГ социальные сети и сервисы с общим охватом более 140 млн человек. Благодаря VK Рекламе у рекламодателей есть единая точка доступа к аудитории рунета и колоссальному объёму мобильного трафика высокого качества.

Ядро рекламной системы — аукцион, обеспечивающий эффективную реализацию выбранных рекламодателями стратегий ставок и подбор рекламы для пользователей. Мы ищем руководителя в команду вертикалей рекламы, которому интересно глубоко погрузиться в механику аукциона, растить эффективность рекламных продуктов и стратегий ставок с помощью методов машинного обучения.

Что предлагаем:

• Возможность внедрять решения, влияющие на ~100 млн пользователей ежедневно
• Интересную предметную область — реклама сочетает в себе рекомендательную систему и аукцион со множеством дополнительных механизмов
• Технологические платформы компании, упрощающие внедрения в рантайм

Задачи

• Руководить командой: наём, развитие, performance review
• Декомпозировать бизнес-цели и проекты до уровня задач для команды
• Повышать эффективность рекламы при помощи ML-алгоритмов
• Предлагать новые решения и проводить A/B-эксперименты для оценки гипотез
• Обеспечивать стабильность ML-решений в высоконагруженном рантайме

Требования

• Опыт руководства командой ML или разработки от двух лет
• Опыт развития команды, проведения code review
• Практический опыт разработки на Java, Python или C++
• Знание классических методов машинного обучения (линейные модели, градиентный бустинг, матричные факторизации, методы NLP) и DL
• Понимание принципов и методов предобработки данных, feature engineering и оценки моделей
• Знание алгоритмов и структур данных

Будет плюсом

• Опыт разработки рекомендательных систем
• Опыт работы с большими данными (Spark, Hadoop, YTsaurus)

Ищем в команду аналитика данных, для улучшения операционного качества работы сотрудников наших офисов.

• сбор, обработка, анализ исходных данных

• подготовка презентационных материалов

• разработка алгоритмов в Greenplum

• контроль качества данных

• взаимодействий с бизнес подразделением (проведение очных встреч, теле и видео коммуникаций).

• высшее образование

• уверенное знание SQL, (опыт написания сложных запросов, хранимых процедур)

• высокий уровень знания Excel (PowerPivot, PowerBi)

• опыт рефакторинга кода, оптимизации

• умение читать чужой код

• будет плюсом: опыт работы в банковской сфере, опыт работы с Greenplum, Teradata, знание Python.

• ежегодный пересмотр зарплаты, годовая премия

• расширенный ДМС с первого дня и льготное страхование для близких

• уникальная система обучения Сбера для профессионального и карьерного развития

• бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнеров

• вознаграждение за рекомендацию друзей в команду Сбера

• ипотека выгоднее до 4% для каждого сотрудника

• корпоративная пенсионная программа

• комфортабельный офис м. Новослободская