Архитектор корпоративного хранилища данных (DWH Architect)

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7

Продукт Контрольно-надзорная деятельность осуществляет проект по автоматизации процессов Государственной инспекции по контролю за использованием объектов недвижимости Москвы, Главконтроля и еще 8 органов исполнительной власти города Москвы в рамках реализации реформы контрольной и надзорной деятельности в городе Москве.

Сейчас команда активно растёт и продолжает набирать темп, поэтому мы в поисках новых талантов!

Что нужно делать:

• управлять кросс-функциональной командой
  - обеспечивать эффективное взаимодействие между БА, СА, дата-инженерами, дата-аналитиками, тестировщиками и разработчиками
  - распределять задачи с учётом профиля специалистов и приоритетов проектов
  - участвовать в найме, онбординге и менторстве новых членов команды

• планировать и контролировать исполнения
  - декомпозировать задачи, оценивать трудоёмкость, формировать спринты и бэклог
  - контролировать сроки и качество реализации (ETL/ELT-процессы, витрины данных, отчётность, API-слои)
  - предоставлять отчётность по метрикам команды: скорость, загрузка, качество данных

• техническое лидерство и архитектура
  - проектировать и развивать архитектуру ДВХ (Data Lake, Data Warehouse, Data Marts)
  - выбирать и внедрять технологии: СУБД (ClickHouse, Greenplum, PostgreSQL, MongoDB), оркестрация (Airflow), обработка данных (Spark, Python/Java/Scala).
  - обеспечивать методологию Data Vault 2.0, оптимизировать запросы, репликации и шардинг.
  - управлять интеграциями через брокеры сообщений (Kafka), REST API

Какие знания и навыки нам важны:

• опыт разработки или анализа данных от 5 лет, из них не менее 2 лет в роли Team Lead / Tech Lead

• успешное управление командой от 5 человек (включая аналитиков и инженеров данных)

• опыт построения процессов работы с данными в высоконагруженной среде (микросервисы, большие объёмы)

• языки программирования: знание Python (pandas, PySpark, FastAPI/Flask, DBT) и дополнительно Java/Scala – для понимания стека инженеров

• SQL: уверенное владение (сложные запросы, оконные функции, CTE, оптимизация) – для код-ревью и помощи аналитикам/инженерам

• СУБД и хранилища: опыт с ClickHouse, Greenplum, PostgreSQL, Oracle, MongoDB

• оркестрация и ETL: практический опыт с Apache Airflow, DBT, понимание ETL/ELT-подходов

• моделирование данных: знание методологии Data Vault 2.0, Data Lake / Data Warehouse

• брокеры сообщений: Kafka (потоки данных, интеграции)
  - CI/CD и Git: GitLab CI, Git (ветвление, ревью)

Что предлагаем:

• рыночную зарплату и премии
• драйвовые задачи и ресурсы для их реализации
• преимущества аккредитованной IT-компании
• материальную помощь в случае важных событий в жизни
• корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке
• корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие
• комьюнити по интересам
• скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.
  
  Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!

Мы — федеральная розничная сеть, которая переживает период бурного роста. Открытие более 700 магазинов в год и расширение офисов создают отличные возможности для профессионального развития в команде единомышленников. У нас уже более 3000 магазинов по всей стране! Хотите стать частью нашего успеха?

Департамент информационных технологий приглашает квалифицированных профессиональных кандидатов принять участие в конкурсе на вакантную должность Разработчик Superset

Чем предстоит заниматься:

• разработка визуализации в Superset для пользователей.
• проектирование баз данных и оптимизации программных модулей;
• проектирование модели данных для детального слоя хранения данных, витрин данных.
• трансформация и загрузка информации в хранилище данных для дальнейшего анализа;
• подготовка данных в рамках задач по построению отчетности;
• анализ работы имеющейся и разрабатываемой отчетности, контроль при вводе в эксплуатацию;
• решение задач по развитию, оптимизации, стабилизации хранилища DWH;
• оптимизация процессов внедрения доработок (в части сопровождения);
• работа с удобными вспомогательными инструментами, такими как трекер ведения задач Jira и, базой знаний Confluence.

Мы рады Вам предложить:

• Трудоустройство и соц. пакет согласно ТК РФ в аккредитованную ИТ компанию.
• Работа в стабильной, крупной и активно развивающейся компании.
• Полностью «белая», официальная стабильная заработная плата (авансовые выплаты и расчет).
• Гибкое начало рабочего дня
• Ежемесячная денежная мотивация по результатам успешно выполненных задач.
• Бесплатное ДМС для сотрудников после испытательного срока (поликлиника и стоматология).
• Возможность обучения и повышения квалификации в компании.
• Чай, кофе, печеньки :)

Наши ожидания от кандидатов:

• Опыт разработки от 1 года в СУБД: ClickHouse, Firebird, MS SQL, PostgreSQL, MySQL, Oracle PL/SQL.
• Опыт разработки в Superset.
• Желателен опыт интеграции приложений.
• Опыт создания полных ETL процессов (экстракция, трансформации, цепочки загрузки);
• Опыт работы с большим объемом данных;
• Опыт оптимизации нагрузки на БД, анализа эффективности запросов.

В нашу команду мы ждем человека готового работать в команде, следовать нашим процессам и технологиям, а также эффективно способствовать непрерывному улучшению результата работы, команды и рабочей среды.

В настоящий момент находимся в поиске BI-аналитика на проект ГИС «Единая централизованная цифровая платформа в социальной сфере»

ЕЦП - единая цифровая платформа - крупнейший федеральный проект автоматизации и реинжиниринга социальной сферы:
- более 100 тыс. внутренних пользователей
- более 50 млн. внешних пользователей
- микро-сервисная архитектура
- событийная модель работы с данными
- 5,5 ПБ хранимых и обрабатываемых в режиме реального времени данных
- более 5 000 обращений к системе в секунду

Масштабность проекта: один из крупнейших проектов в социальной сфере России, охватывающий более 50 млн граждан страны, имеющих право на меры социальной поддержки

Стек: Java, Spring, React, PostgreSQL, ClickHouse, Kafka, RabbitMQ, Kubernetes, Camunda, Elasticsearch, Prometheus+Zabbix+Grafana

Чем предстоит заниматься:

• Общением с заказчиком и формализацией требований
• Анализом источников данных, разработкой аналитических моделей
• Подготовкой постановок на разработку процедур загрузки и отчетов в BI
• Тестированием процедур загрузки и отчетов в BI
• Работой с базами данных (SQL, Postgres, Greenplum)
• Работой с BI-системой (Polymatica)

Мы ждем от вас:

• Опыт в роли BI аналитика от 3-х лет
• Умение выявлять, документировать и управлять бизнес требованиями
• Умение проводить анализ источников данных
• Умение разрабатывать маппинги и постановки на разработку
• Понимание принципов отображения количественной информации
• Знание SQL на среднем уровне и выше
• Опыт работы с BI-системами
• Опыт создания дашбордов и отчетов
• Опыт работы с БД PostgreSQL, ClickHouse или аналогами

Мы предлагаем:

• Работу в аккредитованной ИТ-компании с официальным трудоустройством по ТК РФ
• Корпоративную технику для комфортной работы
• ДМС после испытательного срока с возможностью страхования детей и родственников
• Участие в корпоративных мероприятиях и праздниках в кругу профессионалов, где ценят вклад каждого
• Реферальную программу с вознаграждением за рекомендации друзей в нашу команду
• Оплату посещения профильных конференций и курсов, поддержку в подготовке к публичным выступлениям и написанию статей на Хабр
• Удаленный формат работы