Разработчик ETL

Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.

ГК Юзтех является технологическим партнером таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, ГоИнвест, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет, Х5 retail Group, Газпромнефть, Леруа Мерлен, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные ИТ-продукты (Юзбас, Октопус, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.

Сфера:

Ищем опытного DWH-разработчика в команду развития корпоративного хранилища данных. Хранилище объединяет данные о сотрудниках и используется аналитиками и Data Scientists для аналитики и повышения эффективности бизнес-процессов.

Формат: РФ, Москва, гибрид (офис 1-2 раза в неделю).

Задачи:

• Разработка и развитие корпоративного DWH.
• Анализ текущей архитектуры хранилища и интеграционных потоков.
• Разработка и оптимизация сложных SQL-запросов.
• Построение и развитие стабильных ETL-процессов.
• Подключение новых источников данных.
• Оптимизация производительности и существующих процессов загрузки данных.
• Работа с REST API и CDC-механизмами.
• Поддержка действующих интеграций, разбор инцидентов и небольшие доработки.
• Участие в проектах по развитию архитектуры хранилища.

• Соотношение задач: около 70% разработки / 30% сопровождения.

Мы ожидаем:

• Опыт разработки DWH от 5 лет; кандидаты с сильным опытом от 4 лет также могут рассматриваться.
• Экспертный уровень SQL: сложные JOIN, аналитические функции, оптимизация запросов.
• Опыт работы с PostgreSQL от 1 года.
• Опыт с Oracle или Greenplum будет релевантен как дополнительный опыт с СУБД.
• Опыт построения и сопровождения ETL-процессов.
• Опыт работы с Apache NiFi или аналогами, например Informatica.
• Понимание различных подходов и методологий построения DWH.
• Понимание принципов CDC.
• Опыт интеграций через REST API.
• Понимание жизненного цикла разработки данных: Git, CI/CD.
  Будет плюсом:
• Опыт проектирования архитектуры DWH.
• Навыки системного анализа и понимание бизнес-процессов.
• Опыт с PySpark, Hadoop, Hive/Impala.
• Опыт с Apache Airflow.
• Python для автоматизации и обработки данных.
• Опыт работы с корпоративными хранилищами в финтехе, страховании, HR или других крупных компаниях.

Мы предлагаем:

• Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании;
• Расширенный полис ДМС со стоматологией, корпоративный психолог;
• Необходимую технику для комфортной работы;
• Обучение, сертификацию, клуб английского языка;
• Доступ к Корпоративной библиотеке и к Корпоративному университету;
• Внутрикорпоративные профильные коммьюнити;
• Заботу о детях сотрудников: корпоративные скидки, подарки, детские дни;
• Геймифицированную программу лояльности: поверь, ты будешь восторге от нашего корпоративного магазина;
• Корпоративную жизнь: мы много работаем и классно отдыхаем.

Развиваем DWH Дзена на YTsaurus: от слоёв хранилища и data quality до сервисов, которыми ежедневно пользуются аналитики и продуктовые команды.

Что делаем:

• Хранилище: многослойная модель raw → ods → dds → cdm → stg → export со строгими соглашениями именования и data quality поверх ~120 пайплайнов с алертингом
• Дата-продукты: каталог таблиц и трекинг SLA доезда данных (lineage/governance), кастомный планировщик workflow, бот-интерфейс к сервисам DWH 
• Работаем в монорепозитории (>1200 модулей-трансформаций) с автоматизированным code review через CI и дежурствами

Ищем инженера широкого профиля: данные + сервисы. 

Задачи

• Развивать внутренние продукты команды: проектировать и писать сервисы, API, интеграции
• Проектировать и развивать модели данных по слоям хранилища
• Писать и оптимизировать трансформации на YQL и Python
• Поддерживать и расширять оркестрацию пайплайнов
• Развивать мониторинг качества данных и реагировать на инциденты
• Участвовать в ревью и поддерживать инженерную планку команды

Требования

• Уверенный Python: production-код, сервисы, а не только скрипты
• Крепкий SQL и понимание аналитических запросов и их оптимизации
• Опыт проектирования и поддержки бэкенд-сервисов / API / интеграций
• Понимание, как устроен слоёный DWH (модели данных, инкрементальная загрузка, партиционирование)
• Аккуратность к качеству данных и к соглашениям (именование, технические поля)

Обязанности:

• Администрирование системы OPTIMACROS (разработка, администрирование и настройка моделей, процессов и интерфейсов на платформе);

• Поддержка созданных моделей, разработка новых моделей и объектов. Создание и редактирование структур моделей (измерения, показатели, таблицы), настройка атрибутов и иерархий, конфигурация расчётных формул и зависимостей;

• Интерфейсы и визуализация. Проектирование форм ввода, отчётных панелей, визуальных дашбордов, определение прав доступа к интерфейсам и данным;

• Администрирование. Управление пользователями и назначение ролей, импорт и экспорт данных, создание и запуск процессов ETL, настройка SSO, интеграций, расписаний;

• Версионирование и контроль изменений. Поддержка среды разработки с возможностью публикации моделей, ведение истории изменений, создание архивных версий объектов и конфигураций.

Требования:

• Высшее образование;
• Опыт финансового моделирования и создания сложных финансовых/бюджетных моделей;
• Понимание принципов управленческой отчётности;
• Опыт работы ведущим специалистом, экспертом или архитектором в проектах по внедрению и поддержке системы Optimacros;
• Навыки проектирования и разработки интеграций с внешними системами;
• Умение эффективно общаться с заказчиками по бизнес-вопросам и с партнёрами по техническим вопросам.

Условия:

• Работа в Ростелекоме — это официальное оформление и широкий соцпакет, а ещё уникальная среда и комфортная атмосфера для роста в команде профессионалов;
• Конкурентный и прозрачный совокупный доход: оклад + годовой бонус;
• График работы с 9.00 до 18.00, в пятницу сокращенный рабочий день;
• Формат работы: удалённый;
• Медстраховка после испытательного срока (стоматология, телемедицина, вызов врача, обследования), жилищная и пенсионная программы, дополнительные выплаты (к отпуску, вступление в брак, рождение ребенка), помощь корпоративного психолога и юриста;
• Бесплатное обучение: профильные курсы и конференции за счет компании, корпоративный онлайн-университет, электронные библиотеки, митапы и вебинары;
• Насыщенная жизнь внутри компании: спортивные события и турниры, лидерские программы, киберспорт, конкурсы и яркие праздники, волонтерство и благотворительность;
• Скидки на услуги Ростелекома, выгодные предложения от партнеров: рестораны и магазины, фитнес-центры, банки, отели и базы отдыха