Аналитик-разработчик Optimacros

Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.

ГК Юзтех является технологическим партнером таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, ГоИнвест, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет, Х5 retail Group, Газпромнефть, Леруа Мерлен, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные ИТ-продукты (Юзбас, Октопус, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.

Сфера:

Ищем опытного DWH-разработчика в команду развития корпоративного хранилища данных. Хранилище объединяет данные о сотрудниках и используется аналитиками и Data Scientists для аналитики и повышения эффективности бизнес-процессов.

Формат: РФ, Москва, гибрид (офис 1-2 раза в неделю).

Задачи:

• Разработка и развитие корпоративного DWH.
• Анализ текущей архитектуры хранилища и интеграционных потоков.
• Разработка и оптимизация сложных SQL-запросов.
• Построение и развитие стабильных ETL-процессов.
• Подключение новых источников данных.
• Оптимизация производительности и существующих процессов загрузки данных.
• Работа с REST API и CDC-механизмами.
• Поддержка действующих интеграций, разбор инцидентов и небольшие доработки.
• Участие в проектах по развитию архитектуры хранилища.

• Соотношение задач: около 70% разработки / 30% сопровождения.

Мы ожидаем:

• Опыт разработки DWH от 5 лет; кандидаты с сильным опытом от 4 лет также могут рассматриваться.
• Экспертный уровень SQL: сложные JOIN, аналитические функции, оптимизация запросов.
• Опыт работы с PostgreSQL от 1 года.
• Опыт с Oracle или Greenplum будет релевантен как дополнительный опыт с СУБД.
• Опыт построения и сопровождения ETL-процессов.
• Опыт работы с Apache NiFi или аналогами, например Informatica.
• Понимание различных подходов и методологий построения DWH.
• Понимание принципов CDC.
• Опыт интеграций через REST API.
• Понимание жизненного цикла разработки данных: Git, CI/CD.
  Будет плюсом:
• Опыт проектирования архитектуры DWH.
• Навыки системного анализа и понимание бизнес-процессов.
• Опыт с PySpark, Hadoop, Hive/Impala.
• Опыт с Apache Airflow.
• Python для автоматизации и обработки данных.
• Опыт работы с корпоративными хранилищами в финтехе, страховании, HR или других крупных компаниях.

Мы предлагаем:

• Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании;
• Расширенный полис ДМС со стоматологией, корпоративный психолог;
• Необходимую технику для комфортной работы;
• Обучение, сертификацию, клуб английского языка;
• Доступ к Корпоративной библиотеке и к Корпоративному университету;
• Внутрикорпоративные профильные коммьюнити;
• Заботу о детях сотрудников: корпоративные скидки, подарки, детские дни;
• Геймифицированную программу лояльности: поверь, ты будешь восторге от нашего корпоративного магазина;
• Корпоративную жизнь: мы много работаем и классно отдыхаем.

Развиваем DWH Дзена на YTsaurus: от слоёв хранилища и data quality до сервисов, которыми ежедневно пользуются аналитики и продуктовые команды.

Что делаем:

• Хранилище: многослойная модель raw → ods → dds → cdm → stg → export со строгими соглашениями именования и data quality поверх ~120 пайплайнов с алертингом
• Дата-продукты: каталог таблиц и трекинг SLA доезда данных (lineage/governance), кастомный планировщик workflow, бот-интерфейс к сервисам DWH 
• Работаем в монорепозитории (>1200 модулей-трансформаций) с автоматизированным code review через CI и дежурствами

Ищем инженера широкого профиля: данные + сервисы. 

Задачи

• Развивать внутренние продукты команды: проектировать и писать сервисы, API, интеграции
• Проектировать и развивать модели данных по слоям хранилища
• Писать и оптимизировать трансформации на YQL и Python
• Поддерживать и расширять оркестрацию пайплайнов
• Развивать мониторинг качества данных и реагировать на инциденты
• Участвовать в ревью и поддерживать инженерную планку команды

Требования

• Уверенный Python: production-код, сервисы, а не только скрипты
• Крепкий SQL и понимание аналитических запросов и их оптимизации
• Опыт проектирования и поддержки бэкенд-сервисов / API / интеграций
• Понимание, как устроен слоёный DWH (модели данных, инкрементальная загрузка, партиционирование)
• Аккуратность к качеству данных и к соглашениям (именование, технические поля)

Чем предстоит заниматься

Управление командой

• Управлять кросс-функциональной командой из бизнес-аналитиков, дата-инженеров и разработчиков
• Приоритезировать задачи спринта исходя из ёмкости команды, финансового эффекта реализации и потребности бизнес-заказчика
• Консультировать бизнес-потребителей данных по реализованным дата-продуктам и общему дата-ландшафту банка
• Отслеживать приоритеты и сроки выполнения задач
• Управлять бэклогом команды

Аналитика

• Формулировать и описывать ТЗ (превращаем пожелания \ идеи бизнеса в технические требования)
• Проводить полный флоу работы по задаче: общение с заказчиком - обсуждение задачи - написание ТЗ - оценка по задаче - утверждение сроков - прототипирование - реализация задачи - тестирование и приемка - визуализация результатов в понятной для заказчиков форме
• Проводить системную аналитику для осуществления интеграционных работ
• Писать сложные SELECT запросы, объединения, подзапросы, CTE, оконные функции
• Проводить профилирование и тюнинг запросов (использование индексов, переписывание запросов, изменение планов выполнения) для повышения производительности
• Разбирать сложные инциденты с качеством данных

Поддержка ETL процессов

• Разрабатывать и поддерживать процедуры загрузки, трансформации и выгрузки данных (ETL) с использованием Informatica и Airflow, Spark
• Обеспечивать корректность и целостность данных при перемещении между источниками
• Тестирование и валидация реализованного функционала

Что мы ждем от вас

• Высшее образование в области информатики, компьютерных наук, прикладной математики, экономики или смежных специальностей
• Навыки управления командой аналитиков \ дата-инженеров от 1 года
• Опыт работы от 5 лет в разработке аналитических решений
• Умение выстраивать доверительную и конструктивную коммуникацию с заказчиками всех уровней
• Продвинутый уровень SQL (T SQL, PL/SQL, PostgreSQL, MySQL, Iceberg и т.п.)
• Опыт написания сложных запросов, хранимых процедур, функций, триггеров, представлений
• Опыт работы с ETL инструментами (Spark, Airflow, Informatica) или написания скриптов загрузки данных
• Понимание Python, архитектуры БД Data Mash (необязательно, но плюс), принципов работы Data LakeHouse

Что мы предлагаем взамен

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
• Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
• Сложные и интересные задачи, современный стек технологий
• Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и полная компенсация 10-ти дней больничного
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
• Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины