Data Engineer (Python)
Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который п…
Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.
ОМС — новый проект по импортозамещению АИС ОМС, информационной системы для автоматизации процессов, связанных с обязательным медицинским страхованием, такими как персонифицированный учет медицинской помощи и информационное обеспечение деятельности участников системы ОМС. Она обеспечивает сбор, хранение и обработку данных о медицинских услугах и страховых случаях.
Обязанности:
• Проектировать и развивать архитектуру потоков обработки и хранения данных.
• Разрабатывать и сопровождать ETL/ELT-пайплайны и интеграции с источниками данных.
• Реализовывать dbt-модели, SQL-трансформации и объекты данных в ClickHouse.
• Разрабатывать и поддерживать Airflow DAGs и механизмы оркестрации.
• Организовывать хранение и обработку данных с использованием S3.
• Обеспечивать надежность, производительность и масштабируемость data-процессов.
• Реализовывать механизмы контроля качества данных, мониторинга и обработки ошибок.
• Оптимизировать SQL-запросы, модели хранения и процессы обработки больших объемов данных.
• Участвовать в проектировании и развитии DWH и аналитических витрин совместно с аналитиками.
• Интегрировать новые источники данных и обеспечивать их стабильную загрузку.
• Документировать технические решения и участвовать в развитии инженерных стандартов команды.
• Взаимодействовать с аналитиками, разработчиками и Заказчиками при проектировании и реализации решений.
Опыт работы от 3 лет в Data Engineering, разработке DWH или смежных инженерных направлениях.
• Уверенное владение SQL: CTE, оконные и агрегатные функции, подзапросы; оптимизация запросов и работа с большими объемами данных.
• Уверенное владение Python для разработки ETL/ELT-процессов, интеграций и автоматизации обработки данных.
• Опыт проектирования и разработки ETL/ELT-пайплайнов и потоков обработки данных.
• Глубокое понимание принципов построения DWH, Data Mart и моделей данных.
• Практический опыт разработки dbt-моделей, SQL-трансформаций и управления зависимостями между объектами данных.
• Уверенная работа с ClickHouse: проектирование таблиц, выбор схем хранения, оптимизация запросов и производительности.
• Опыт работы с системами оркестрации, преимущественно Airflow.
• Опыт работы с S3 и объектным хранением данных.
• Понимание принципов интеграции данных и работы с форматами JSON, XML, CSV.
• Опыт построения и сопровождения процессов загрузки данных из различных источников.
• Понимание принципов Data Quality, контроля целостности, полноты и актуальности данных.
• Опыт работы с Git.
• Навыки декомпозиции технических требований и проектирования решений совместно с аналитиками, разработчиками и Заказчиками.
Будет преимуществом:
• Опыт проектирования и развития корпоративных хранилищ данных.
• Опыт работы с другими аналитическими СУБД и DWH-платформами.
• Опыт построения потоковых решений и систем потоковой передачи данных.
• Опыт настройки мониторинга и алертинга data-пайплайнов.
• Навыки оптимизации инфраструктурных и вычислительных затрат.
• Профильное высшее образование.
Личностные качества
• Системное и инженерное мышление.
• Ответственность за надежность и результат работы data-платформы.
• Ориентация на качество, производительность и поддерживаемость решений.
• Умение самостоятельно принимать технические решения.
• Способность быстро погружаться в новые технологии, источники и предметные области.
• Умение работать в команде и эффективно взаимодействовать со смежными специалистами.
Что мы предлагаем:
- Рыночную зарплату и премии;
- График работы 5/2;
- Интересные задачи и ресурсы для их реализации;
- Преимущества аккредитованной IT-компании;
- Материальную помощь в случае важных событий в жизни;
- Корпоративное обучение и доступ к онлайн-библиотеке;
- Корпоративные тренировки и спортивные активности: бег, футбол, волейбол, баскетбол, теннис и другие;
- Комьюнити по интересам;
- Скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.
Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!
Похожие вакансии Data Engineer
О команде:
Команда Data Engineering занимается развитием и поддержкой корпоративного хранилища данных (DWH) для основных продуктов компании: платежной системы, маркетплейса и сервиса рассрочки. Наша задача — обеспечить компанию надёжными и актуальными данными для внутренней аналитики и реализации требований регулятора (RegTech). Сейчас команда развивает архитектуру хранилища данных, переходит на ELT-подход и стандартизирует технологический стек на базе ClickHouse, dbt, Apache Airflow и Kafka Connect. Мы также совершенствуем инженерные практики, уделяя особое внимание надёжности, качеству данных и автоматизации процессов.
Чем вы будете заниматься:
- Поддерживать и развивать дата-пайплайны: сопровождать существующие batch- и near-real-time потоки из микросервисов (PostgreSQL, MySQL, API), рефакторить legacy-процессы и переносить вычисления из Python/Pandas в SQL.
- Оптимизировать стек данных: настраивать ClickHouse, Kafka Connect и CDC (Debezium, DLQ, Schema Registry), оптимизировать Airflow DAG-и и управление параллелизмом.
- Развивать DWH и внедрять dbt: переносить бизнес-логику и витрины в dbt, использовать Jinja и макросы, развивать архитектуру Bronze / Silver / Gold.
- Обеспечивать качество данных: автоматизировать DQ-проверки, сверять данные с источниками, настраивать мониторинг и алертинг, выстраивать Data Lineage.
- Автоматизировать инфраструктуру и CI/CD: управлять конфигурациями пайплайнов, DDL-миграциями и доступами через код; развивать процессы на базе GitLab CI, werf, Docker и Kubernetes.
- Использовать AI-инструменты: ускорять работу с legacy-кодом, генерацию тестов, оптимизацию SQL-запросов и подготовку документации с помощью Cursor, Copilot, ChatGPT и Claude.
Чего мы ожидаем от вас:
- SQL: уверенное владение SQL, умение писать сложные аналитические запросы, понимание принципов оптимизации;
- Python: хороший уровень (requests, работа с API, базовый Pandas), умение писать чистый, поддерживаемый код;
- Airflow: опыт написания DAG-ов, понимание базовых принципов работы шедулера, операторов, хуков;
- Архитектура DWH: понимание концепций построения хранилища и моделей данных; идеологии ELT vs ETL, OLAP vs OLTP;
- Инфраструктура: базовое понимание контейнеризации (Docker / Kubernetes), уверенная работа с Git;
- Уверенное использование AI-инструментов: активное применение в ежедневной работе (ChatGPT, Claude, Cursor, GitHub Copilot или аналоги) для ускорения написания рутинного кода, помощи в рефакторинге, генерации SQL/документации и быстрого онбординга в новую кодовую базу.
Будет большим плюсом:
- Опыт работы с ClickHouse в продакшене (знание особенностей MergeTree движков, партиционирования);
- Практический опыт работы с dbt (Data Build Tool);
- Понимание принципов работы брокеров сообщений (Kafka) и CDC-инструментов (Debezium);
- Опыт деплоя приложений в Kubernetes (Gitlab / Github CI).
Почему вам будет интересно с нами:
- Работа в продуктовой финтех-компании;
- Современная архитектура и сложные инженерные задачи;
- Профессиональная команда, взаимная поддержка и обмен опытом;
- Возможность карьерного роста;
- Культура, открытая к новым идеям и улучшениям процессов;
- Выстроенная адаптация с сопровождением HR, тимлида и ментора;
- Уроки английского с носителями языка;
- Компенсация обучения (постоянный доступ к корпоративным материалам, специализированные курсы, внутренние митапы);
- Насыщенная корпоративная жизнь;
- Добровольная медицинская страховка;
- Офис в центре города в Tashkent - City;
- График 5/2 с 9:00 до 18:00;
- Конкурентная заработная плата (обсуждается по итогам собеседования).
О компании:
Alif — одна из крупнейших и самых быстрорастущих финтех-компаний Центральной Азии с проектами в Узбекистане, Таджикистане и Пакистане. Компания была основана в 2014 году Абдулло Курбановым, Фирдавсом Мирзоевым и Зухуршо Рахматуллоевым.
Наши достижения:
- Alif - одна из самых динамичных и дорогих финтех-компаний региона, оценённая более чем в $100 млн.
- В Узбекистане компания работает с 2019 года и за это время стала одним из лидеров рынка.
- Общая аудитория пользователей превысила 9 миллионов человек.
- Сегодня команда Alif насчитывает более 300 квалифицированных специалистов, которые создают и развивают полноценную финтех-экосистему.
- Компания является резидентом IT-Park с 2019 года и активно расширяет своё присутствие на рынке.
- Alif занимает передовые позиции на рынке BNPL-решений и продолжает уверенно развиваться.
Мы в Alif, обеспечиваем равные возможности, и приветствуем заявки от всех квалифицированных лиц, включая людей с ограниченными возможностями, ветеранов и людей из разных слоёв общества.
Присоединяйся к команде крупнейшего пищевого производителя с известными брендами! Работа в АО МПБК Очаково это ценность каждого сотрудника и стабильный заработок!
Нужна уверенность в завтрашнем дне? Работай с нами!
Спасибо за отклик! Если ваше резюме соответствует вакансии, мы свяжемся с вами в ближайшее время.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.