Разработчик хранилищ данных (Senior DWH Developer)

Развиваем DWH Дзена на YTsaurus: от слоёв хранилища и data quality до сервисов, которыми ежедневно пользуются аналитики и продуктовые команды.

Что делаем:

• Хранилище: многослойная модель raw → ods → dds → cdm → stg → export со строгими соглашениями именования и data quality поверх ~120 пайплайнов с алертингом
• Дата-продукты: каталог таблиц и трекинг SLA доезда данных (lineage/governance), кастомный планировщик workflow, бот-интерфейс к сервисам DWH 
• Работаем в монорепозитории (>1200 модулей-трансформаций) с автоматизированным code review через CI и дежурствами

Ищем инженера широкого профиля: данные + сервисы. 

Задачи

• Развивать внутренние продукты команды: проектировать и писать сервисы, API, интеграции
• Проектировать и развивать модели данных по слоям хранилища
• Писать и оптимизировать трансформации на YQL и Python
• Поддерживать и расширять оркестрацию пайплайнов
• Развивать мониторинг качества данных и реагировать на инциденты
• Участвовать в ревью и поддерживать инженерную планку команды

Требования

• Уверенный Python: production-код, сервисы, а не только скрипты
• Крепкий SQL и понимание аналитических запросов и их оптимизации
• Опыт проектирования и поддержки бэкенд-сервисов / API / интеграций
• Понимание, как устроен слоёный DWH (модели данных, инкрементальная загрузка, партиционирование)
• Аккуратность к качеству данных и к соглашениям (именование, технические поля)

Обязанности:

• Администрирование системы OPTIMACROS (разработка, администрирование и настройка моделей, процессов и интерфейсов на платформе);

• Поддержка созданных моделей, разработка новых моделей и объектов. Создание и редактирование структур моделей (измерения, показатели, таблицы), настройка атрибутов и иерархий, конфигурация расчётных формул и зависимостей;

• Интерфейсы и визуализация. Проектирование форм ввода, отчётных панелей, визуальных дашбордов, определение прав доступа к интерфейсам и данным;

• Администрирование. Управление пользователями и назначение ролей, импорт и экспорт данных, создание и запуск процессов ETL, настройка SSO, интеграций, расписаний;

• Версионирование и контроль изменений. Поддержка среды разработки с возможностью публикации моделей, ведение истории изменений, создание архивных версий объектов и конфигураций.

Требования:

• Высшее образование;
• Опыт финансового моделирования и создания сложных финансовых/бюджетных моделей;
• Понимание принципов управленческой отчётности;
• Опыт работы ведущим специалистом, экспертом или архитектором в проектах по внедрению и поддержке системы Optimacros;
• Навыки проектирования и разработки интеграций с внешними системами;
• Умение эффективно общаться с заказчиками по бизнес-вопросам и с партнёрами по техническим вопросам.

Условия:

• Работа в Ростелекоме — это официальное оформление и широкий соцпакет, а ещё уникальная среда и комфортная атмосфера для роста в команде профессионалов;
• Конкурентный и прозрачный совокупный доход: оклад + годовой бонус;
• График работы с 9.00 до 18.00, в пятницу сокращенный рабочий день;
• Формат работы: удалённый;
• Медстраховка после испытательного срока (стоматология, телемедицина, вызов врача, обследования), жилищная и пенсионная программы, дополнительные выплаты (к отпуску, вступление в брак, рождение ребенка), помощь корпоративного психолога и юриста;
• Бесплатное обучение: профильные курсы и конференции за счет компании, корпоративный онлайн-университет, электронные библиотеки, митапы и вебинары;
• Насыщенная жизнь внутри компании: спортивные события и турниры, лидерские программы, киберспорт, конкурсы и яркие праздники, волонтерство и благотворительность;
• Скидки на услуги Ростелекома, выгодные предложения от партнеров: рестораны и магазины, фитнес-центры, банки, отели и базы отдыха

Чем предстоит заниматься

Управление командой

• Управлять кросс-функциональной командой из бизнес-аналитиков, дата-инженеров и разработчиков
• Приоритезировать задачи спринта исходя из ёмкости команды, финансового эффекта реализации и потребности бизнес-заказчика
• Консультировать бизнес-потребителей данных по реализованным дата-продуктам и общему дата-ландшафту банка
• Отслеживать приоритеты и сроки выполнения задач
• Управлять бэклогом команды

Аналитика

• Формулировать и описывать ТЗ (превращаем пожелания \ идеи бизнеса в технические требования)
• Проводить полный флоу работы по задаче: общение с заказчиком - обсуждение задачи - написание ТЗ - оценка по задаче - утверждение сроков - прототипирование - реализация задачи - тестирование и приемка - визуализация результатов в понятной для заказчиков форме
• Проводить системную аналитику для осуществления интеграционных работ
• Писать сложные SELECT запросы, объединения, подзапросы, CTE, оконные функции
• Проводить профилирование и тюнинг запросов (использование индексов, переписывание запросов, изменение планов выполнения) для повышения производительности
• Разбирать сложные инциденты с качеством данных

Поддержка ETL процессов

• Разрабатывать и поддерживать процедуры загрузки, трансформации и выгрузки данных (ETL) с использованием Informatica и Airflow, Spark
• Обеспечивать корректность и целостность данных при перемещении между источниками
• Тестирование и валидация реализованного функционала

Что мы ждем от вас

• Высшее образование в области информатики, компьютерных наук, прикладной математики, экономики или смежных специальностей
• Навыки управления командой аналитиков \ дата-инженеров от 1 года
• Опыт работы от 5 лет в разработке аналитических решений
• Умение выстраивать доверительную и конструктивную коммуникацию с заказчиками всех уровней
• Продвинутый уровень SQL (T SQL, PL/SQL, PostgreSQL, MySQL, Iceberg и т.п.)
• Опыт написания сложных запросов, хранимых процедур, функций, триггеров, представлений
• Опыт работы с ETL инструментами (Spark, Airflow, Informatica) или написания скриптов загрузки данных
• Понимание Python, архитектуры БД Data Mash (необязательно, но плюс), принципов работы Data LakeHouse

Что мы предлагаем взамен

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
• Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
• Сложные и интересные задачи, современный стек технологий
• Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и полная компенсация 10-ти дней больничного
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
• Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины