Разработчик DWH/ETL/Big Data (Python, Java)

Проект реализация DWH и BI в области противодействия мошенническим операциям.

Цель проекта: обеспечение целевых подразделений антифрода инструментами аналитики и подготовки принятия решений для задач предотвращения мошенничества.

ЧТО ВАС ЖДЕТ:

• Высокая автономность: вы будете исследовать и развивать сквозной процесс от множественных источников данных до форм представлений непосредственным пользователям.
• Разнообразие данных: для задач домена используются данные практически всех направлений внутри банка и много внешних специфичных данных.
• Передовой технологический стек и нетривиальные задачи: Графовая аналитика и Graf RAG; Feature Store с возможностью его переиспользования для in-line задач, интеграции результатов AI в бизнес аналитику и так далее.
• Влияние и бизнес-импакт: у нас высокий спрос на качественные данные как в аналитических задачах, так и в области машинного обучения.

СТЕК:

• Greenplum (GPDB)
• Data Vault 2.0
• Data Warehouse
• Data Architecture
• PowerDesigner
• SQL
• Data Modeling
• Banking Data Model
• General Ledger
• Data Governance
• MPP Database
• ETL Architecture

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

• Принимать участие в проработке архитектуры ETL и интеграций аналитического хранилища данных (DWH);
• Проектировать и обеспечивать реализацию потоков ETL в соответствии с выбранной методологией;
• Управлять физической моделью данных корпоративного хранилища;
• Формировать стандарты в области данных и контролировать их соблюдение, обеспечивать историзацию и правила качества данных;
• Взаимодействовать с владельцами данных, бизнес и системными аналитиками;
• Оптимизировать архитектуру хранилища и обеспечивать ее масштабируемость;
• Готовить и согласовывать обязательную документацию.

НАШИ ОЖИДАНИЯ ОТ КАНДИДАТА:

• Опыт работы главным/ведущим инженером ETL/ELT от 3 лет;
• Глубокое понимание архитектуры корпоративных хранилищ данных;
• Практический опыт проектирования хранилищ с использованием Greenplum (GPDB), Postgres, Hadoop;
• Понимание архитектуры Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных;
• Результативный опыт анализа проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации;
• Практический опыт работы с отечественными BI решениями;
• Отличное знание SQL и принципов оптимизации запросов в MPP-системах;
• Экспертиза и применение архитектурных паттернов загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа;
• Опыт в проектировании и применение Spark, Impala, Trino, Airflow, Java/Python в промышленном ландшафте данных;
• Понимание принципов CI/CD, работа с системами контроля версий;
• Уверенное владение инструментами проектирования:
  - разработка физических моделей;
  - управление репозиторием моделей;
  - поддержка корпоративных стандартов моделирования.

БУДЕТ ПЛЮСОМ:

• Опыт работы с данными в антифрод-подразделении банка или фин. организации;
• Опыт проектирования CDM/LDM/PDM в крупных банках;
• Опыт построения Data Lake / Lakehouse совместно с DWH;
• Знание подходов Data Governance и Data Quality;
• Понимание принципов MDM;
• Опыт работы с StarRocks;
• Опыт работы с PXF;
• Знание Agile-подходов к разработке;
• Экспертиза в банковской предметной области. Вы должны хорошо ориентироваться в банковских данных и понимать структуру основных предметных областей.

ЧТО МЫ ПРЕДЛАГАЕМ:

• Обучение за счет компании (посещение конференций, курсов, помощь в написании статей на Хабр и т.д.);
• Вертикальное и горизонтальное развитие: регулярные тренинги, вебинары, митапы;
• Забота о вашем здоровье: ДМС с первого месяца работы, куда входит стоматология;
• Прозрачный доход: оклад (по итогам интервью) + ежеквартальные премии по результатам KPI;
• Гибридный формат работы (2 дня офис, 3 дня удаленно) в Сколково;
• Дополнительные бонусы от Россельхозбанка для сотрудников группы компаний (Скидки на спортзалы, рестораны, маркетплейсы и т.д.).

Задачи:

• разработка, оптимизация и поддержка процедур (PL/SQL) для обработки информации в корпоративном хранилище данных на СУБД Oracle;
• написание сложных SQL-запросов для формирования данных под отчетность и интеграции с внешними системами (1С, B2B и др.);
• обеспечение корректности, целостности и производительности процессов загрузки (ETL) данных из различных источников в хранилище;
• участие в создании и поддержке внутренних веб-сервисов и инструментов с использованием стеков React (Frontend), Java или Python (Backend);
• разработка сервисов для бизнес-задач: планирование бюджета, управление метаданными, расчетные модели для продуктов компании;
• взаимодействие с бизнес-заказчиками и аналитиками: сбор, анализ и согласование требований к доработкам хранилища и витрин данных.

Нам важно:

• высшее образование;

• опыт работы с хранилищем данных от 6 месяцев;

• продвинутый уровень SQL(Oracle): написание сложных запросов и процедур, навык работы с оптимизаторами;

• будет преимуществом опыт работы с Java, Python, React, Spark, ML.

Мы предлагаем:

• официальное трудоустройство по ТК РФ, фиксированный доход, годовой бонус;
• график работы 5/2 с 9:00 до 18:00, в пятницу — сокращенный рабочий день до 16:45, обсуждаем гибридный формат работы после прохождения испытательного срока;
• встречи с экспертами в различных сферах — от финансов и карьеры до развлечений и ЗОЖ (в рамках корпоративного проекта «Успех рождается в Согласии»);
• обучение, отдых, фитнес и многое другое — на выгодных условиях от партнеров;
• развитое спортивное комьюнити: беговой клуб, футбольная и баскетбольная команды;
• страховую защиту от критических заболеваний после прохождения испытательного срока;
• денежный бонус за трудоустройство друзей по вашей рекомендации.

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.

Что нужно делать:

• проектировать и внедрять решения на базе существующих бизнесс потребностей в масштабируемую мультисервисную архитектуру с использованием Python (FastAPI), Kubernetes, Docker, gRPC/REST, Kafka/RabbitMQ и CI/CD (GitLab CI, ArgoCD)
• анализировать текущие подходы и разработка новых методов автоматизации прикладных задач с применением Python, NumPy/Pandas, а также фреймворков машинного обучения (PyTorch, scikit-learn) и инструментов обработки данных (Spark, Airflow)
• разрабатывать аналитические инструменты и сервисы обработки данных, включая построение пайплайнов (ETL/ELT), визуализацию (Superset, Grafana) и сервисы анализа на основе Python, SQL и распределённых систем хранения (ClickHouse, PostgreSQL, S3)
• разрабатывать, обучать, оптимизировать и внедрять модели машинного обучения и LLM-агентов с использованием PyTorch, Hugging Face Transformers, vLLM, TensorRT, включая задачи инференса, RAG (FAISS, Qdrant), prompt engineering и оптимизации (квантование, batching, KV-cache)
• вести техническую документацию по задачам и решениям (архитектура, API, пайплайны, модели) с использованием Markdown, Confluence, Swagger/OpenAPI и поддержание её актуальности в рамках CI/CD процессов

Какие знания и навыки важны:

• высшее образование (магистратура/специалитет) в области Computer Science, Data Science, Прикладной математики, ИТ или смежных дисциплин
• опыт работы от 3 лет в разработке программных решений, анализе данных или машинном обучении
• опыт работы с мультисервисными и масштабируемыми архитектурами (микросервисы, Kubernetes, облачные решения)

Технические навыки:

• уверенное владение Python (основные библиотеки: pandas, numpy, scikit-learn, TensorFlow/PyTorch)
• опыт разработки backend-сервисов (FastAPI/Flask), проектирование REST/gRPC API
• опыт построения и эксплуатации LLM-инференса (vLLM, SGLang, Triton, HuggingFace Inference) и оптимизации (квантование, batching, latency)
• уверенное владение SQL
• (Greenplum, Hive)
• опыт работы с системами очередей и стриминга данных (Kafka, RabbitMQ)
• опыт разработки и внедрения ML-моделей (классические алгоритмы, нейросети, ансамбли) или LLM-агентов (RAG, fine-tuning, LangGraph, LlamaIndex)
• практический опыт разработки, деплоя и эксплуатации сервисов в Kubernetes
• знание методов автоматизированного анализа данных (Feature Engineering, AutoML, оптимизация гиперпараметров)
• умение проектировать и разрабатывать аналитические инструменты (Dash, Streamlit, BI-системы: Tableau, Power BI)
• понимание принципов распределённых систем и работы с большими данными (SQL/NoSQL, Spark, Dask, Airflow)
• опыт работы с GitLab CI / ArgoCD, Docker, Git
• аналитические и управленческие навыки
• умение формализовать и декомпозировать задачи, оценивать сложность и приоритезировать решения
• навыки работы с документацией (технические спецификации, архитектурные схемы, отчеты).
• ведение архитектурной и технической документации (API, сервисы, пайплайны, модели; Swagger, Confluence)
• опыт взаимодействия с заказчиками и смежными командами (аналитики, инженеры, разработчики, DevOps)

Личные качества:

• системное мышление – способность видеть взаимосвязи в сложных системах
• самостоятельность – умение работать с минимальным контролем
• критическое мышление – анализ эффективности решений, поиск оптимизаций
• коммуникабельность – чёткое изложение идей, аргументация решений

Будет плюсом:

участие в open-source проектах или научные публикации в области ML/AI

Что предлагаем:

• официальное трудоустройство в аккредитованную ИТ-компанию
• график работы гибрид 5/2
• ежегодное премирование по результатам работы
• материальную помощь в случае важных событий в жизни
• корпоративное обучение и доступ к онлайн-библиотеке
• скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.

• корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие

• Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!