Data Platform Lead Engineer

Описание проекта:

• Развитие и сопровождение системы CDP (Customer Data Platform) в рамках бизнес-критичной инфраструктуры. Объединение данных из 20+ источников в единую «Карточку клиента» с обеспечением доступности 99.95% и SLA API 99.9% при задержке до 300 мс. Система включает профили в реальном времени (NRT) и оффлайн-профили (T-1), работает под высокими нагрузками (до 5000 RPS) и требует строгого соответствия требованиям НФТ и ДИБ.

Чем предстоит заниматься:

• Проектировать архитектуру системы (Customer Profile Online/Offline), декомпозировать её на компоненты и выбирать технологии согласно техрадару;
• Принимать ключевые решения по моделям данных, хранению историчности (SCD), разрешению конфликтов и проектировать схемы кластеров Kafka;
• Разрабатывать архитектуру API-слоя и интеграционную стратегию с 20+ системами-источниками, создавая Data-контракты;
• Обеспечивать соответствие требованиям НФТ и ДИБ, поддерживая доступность 99,95%, SLO API 99,9% и внедряя TLS/Keycloak;
• Осуществлять техническое лидерство: проводить код-ревью, менторить команду, внедрять стандарты разработки и формировать Roadmap;
• Защищать архитектуру на комитетах (ТехКом, ЦКА), готовить ADR, документацию;
• Выстраивать процессы CI/CD, а также системы мониторинга и логирования на уровне всей системы.

Наши ожидания:

• Опыт работы от 5 лет в инженерных ролях с данными, из них 2+ года в роли TechLead с реальной ответственностью за команду и систему;
• Практический опыт строительства CDP/MDM/центральных клиентских систем «под ключ» и запуска систем уровня Business Critical (99.9%+ доступность);
• Глубокая экспертиза в стриминговых архитектурах на Kafka (Kafka Streams, Flink, Schema Registry) и опыт эксплуатации нескольких кластеров;
• Продакшен-опыт проектирования высоконагруженных API (REST, GraphQL) с latency <300 мс и RPS в тысячи запросов;
• Уверенное владение Java, практическое понимание Python и Airflow, а также опыт работы с хранилищами (PostgreSQL, ClickHouse, Redis);
• Лидерский опыт: найм, рост людей, постановка инженерных стандартов и умение сочетать стратегическое мышление с детальной реализацией в коде;
• Приветствуется навык работы с ИИ-инструментами для оптимизации процессов разработки и аналитики.

Наш стек:

• Java — основной язык для потоковой (streaming) обработки, интеграционных сервисов и REST API;
• Python — основной язык для Airflow (оркестрация батч-потоков, DQ-пайплайны);
• Стриминг: Kafka;
• Оркестрация: Airflow;
• Основные СУБД: PostgreSQL (с Patroni, HAproxy), ClickHouse, Redis (In-Memory);
• Интеграция: REST, GraphQL, Kafka.

Мы предлагаем:

• Работу среди профессионалов финансового рынка;
• Насыщенную корпоративную жизнь;
• Возможность карьерного роста и профессионального развития;
• Стабильный конкурентный доход;
• Оформление согласно ТК РФ;
• Комфортный офис в центре (м. Проспект Мира);
• График работы 5/2 с 9:30 до 18:00, удаленный формат работы;
• ДМС, корпоративные скидки и предложения для сотрудников.