Data Engineer

Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.

ГК Юзтех является технологическим партнером таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, ГоИнвест, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет, Х5 retail Group, Газпромнефть, Леруа Мерлен, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные ИТ-продукты (Юзбас, Октопус, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.

Сфера:

Ищем опытного DWH-разработчика в команду развития корпоративного хранилища данных. Хранилище объединяет данные о сотрудниках и используется аналитиками и Data Scientists для аналитики и повышения эффективности бизнес-процессов.

Формат: РФ, Москва, гибрид (офис 1-2 раза в неделю).

Задачи:

• Разработка и развитие корпоративного DWH.
• Анализ текущей архитектуры хранилища и интеграционных потоков.
• Разработка и оптимизация сложных SQL-запросов.
• Построение и развитие стабильных ETL-процессов.
• Подключение новых источников данных.
• Оптимизация производительности и существующих процессов загрузки данных.
• Работа с REST API и CDC-механизмами.
• Поддержка действующих интеграций, разбор инцидентов и небольшие доработки.
• Участие в проектах по развитию архитектуры хранилища.

• Соотношение задач: около 70% разработки / 30% сопровождения.

Мы ожидаем:

• Опыт разработки DWH от 5 лет; кандидаты с сильным опытом от 4 лет также могут рассматриваться.
• Экспертный уровень SQL: сложные JOIN, аналитические функции, оптимизация запросов.
• Опыт работы с PostgreSQL от 1 года.
• Опыт с Oracle или Greenplum будет релевантен как дополнительный опыт с СУБД.
• Опыт построения и сопровождения ETL-процессов.
• Опыт работы с Apache NiFi или аналогами, например Informatica.
• Понимание различных подходов и методологий построения DWH.
• Понимание принципов CDC.
• Опыт интеграций через REST API.
• Понимание жизненного цикла разработки данных: Git, CI/CD.
  Будет плюсом:
• Опыт проектирования архитектуры DWH.
• Навыки системного анализа и понимание бизнес-процессов.
• Опыт с PySpark, Hadoop, Hive/Impala.
• Опыт с Apache Airflow.
• Python для автоматизации и обработки данных.
• Опыт работы с корпоративными хранилищами в финтехе, страховании, HR или других крупных компаниях.

Мы предлагаем:

• Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании;
• Расширенный полис ДМС со стоматологией, корпоративный психолог;
• Необходимую технику для комфортной работы;
• Обучение, сертификацию, клуб английского языка;
• Доступ к Корпоративной библиотеке и к Корпоративному университету;
• Внутрикорпоративные профильные коммьюнити;
• Заботу о детях сотрудников: корпоративные скидки, подарки, детские дни;
• Геймифицированную программу лояльности: поверь, ты будешь восторге от нашего корпоративного магазина;
• Корпоративную жизнь: мы много работаем и классно отдыхаем.

Развиваем DWH Дзена на YTsaurus: от слоёв хранилища и data quality до сервисов, которыми ежедневно пользуются аналитики и продуктовые команды.

Что делаем:

• Хранилище: многослойная модель raw → ods → dds → cdm → stg → export со строгими соглашениями именования и data quality поверх ~120 пайплайнов с алертингом
• Дата-продукты: каталог таблиц и трекинг SLA доезда данных (lineage/governance), кастомный планировщик workflow, бот-интерфейс к сервисам DWH 
• Работаем в монорепозитории (>1200 модулей-трансформаций) с автоматизированным code review через CI и дежурствами

Ищем инженера широкого профиля: данные + сервисы. 

Задачи

• Развивать внутренние продукты команды: проектировать и писать сервисы, API, интеграции
• Проектировать и развивать модели данных по слоям хранилища
• Писать и оптимизировать трансформации на YQL и Python
• Поддерживать и расширять оркестрацию пайплайнов
• Развивать мониторинг качества данных и реагировать на инциденты
• Участвовать в ревью и поддерживать инженерную планку команды

Требования

• Уверенный Python: production-код, сервисы, а не только скрипты
• Крепкий SQL и понимание аналитических запросов и их оптимизации
• Опыт проектирования и поддержки бэкенд-сервисов / API / интеграций
• Понимание, как устроен слоёный DWH (модели данных, инкрементальная загрузка, партиционирование)
• Аккуратность к качеству данных и к соглашениям (именование, технические поля)

VK Реклама — платформа, которая объединяет все крупнейшие в России и СНГ социальные сети и сервисы с общим охватом более 140 млн человек. Благодаря VK Рекламе у рекламодателей есть единая точка доступа к аудитории рунета и колоссальному объёму мобильного трафика высокого качества.

Ядро рекламной системы — аукцион, обеспечивающий эффективную реализацию выбранных рекламодателями стратегий ставок и подбор рекламы для пользователей. Мы ищем руководителя в команду вертикалей рекламы, которому интересно глубоко погрузиться в механику аукциона, растить эффективность рекламных продуктов и стратегий ставок с помощью методов машинного обучения.

Что предлагаем:

• Возможность внедрять решения, влияющие на ~100 млн пользователей ежедневно
• Интересную предметную область — реклама сочетает в себе рекомендательную систему и аукцион со множеством дополнительных механизмов
• Технологические платформы компании, упрощающие внедрения в рантайм

Задачи

• Руководить командой: наём, развитие, performance review
• Декомпозировать бизнес-цели и проекты до уровня задач для команды
• Повышать эффективность рекламы при помощи ML-алгоритмов
• Предлагать новые решения и проводить A/B-эксперименты для оценки гипотез
• Обеспечивать стабильность ML-решений в высоконагруженном рантайме

Требования

• Опыт руководства командой ML или разработки от двух лет
• Опыт развития команды, проведения code review
• Практический опыт разработки на Java, Python или C++
• Знание классических методов машинного обучения (линейные модели, градиентный бустинг, матричные факторизации, методы NLP) и DL
• Понимание принципов и методов предобработки данных, feature engineering и оценки моделей
• Знание алгоритмов и структур данных

Будет плюсом

• Опыт разработки рекомендательных систем
• Опыт работы с большими данными (Spark, Hadoop, YTsaurus)