Data engineer/BI

Международная IT-компания открывает вакансию Руководителя команды Data Engineering для развития платформы данных и сервисов продукта. Вам предстоит руководить кросс-функциональной командой дата-инженеров, разработчиков и QA, принимать архитектурные решения, обеспечивать надежность data-систем и развивать инженерную экспертизу команды.

Обязанности:

• Развивать архитектуру DWH, потоковую обработку данных и сервисы на основе данных
• Обеспечивать надежность и производительность систем при работе с большими объемами данных
• Внедрять и поддерживать инженерные практики: CI/CD, Code Review, автотестирование и observability
• Руководить кросс-функциональной командой, проводить 1-on-1 и Performance Review, участвовать в найме и развитии сотрудников
• Распределять зоны ответственности и развивать обмен знаниями внутри команды
• Планировать работу команды, оценивать сроки, управлять приоритетами и рисками
• Контролировать выполнение SLA/SLO по доступности и свежести данных
• Анализировать инциденты, проводить Post-Mortem и внедрять системные решения для повышения отказоустойчивости
• Взаимодействовать с продуктовыми аналитиками, BI и Backend-командами, защищать архитектурные решения

Стек технологий:

• ClickHouse, Apache Kafka, MongoDB, Liquibase, Python
• Docker, Kubernetes, GitLab CI, Apache Airflow, Redis, KeyDB, MinIO, FastAPI
• OpenMetadata, Prometheus, OpenTelemetry

Требования:

• Опыт работы в Data Engineering от 5 лет
• Опыт управления командой дата-инженеров или кросс-функциональной командой от 2 лет
• Практический опыт проектирования и эксплуатации высоконагруженных распределенных систем
• Глубокое знание ClickHouse и Kafka и опыт их использования в высоконагруженных системах
• Опыт проектирования DWH, Data Lake и аналитических решений
• Опыт разработки на Python и работы с Big Data-инструментами
• Понимание принципов Data Governance и управления каталогами данных
• Опыт принятия архитектурных решений и взаимодействия с бизнес-заказчиками
• Навыки управления командой, приоритизации задач и развития инженерной экспертизы

Будет преимуществом:

• Опыт работы в сфере iGaming
• Понимание принципов построения AI-агентов, LLM, RAG и Text-to-SQL
• Опыт запуска ML-сервисов в production под высокой нагрузкой, включая рекомендательные системы и ранжирование

Условия:

• Конкурентный уровень заработной платы (обсуждается индивидуально)
• График работы: 5/2 с гибким началом рабочего дня
• 4 дополнительных day off в году
• Автономия в выборе архитектуры, стека и процессов в своей зоне ответственности
• Формат работы, ДМС и бонусы - по итогам обсуждения

Наша команда занимается внедрением lakehouse нового поколения, в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку.

Чем предстоит заниматься:

• Разрабатывать и проводить рефакторинг ETL/ELT пайплайнов на pyspark;

• Разрабатывать и поддерживать OLAP движки Starrocks/Clickhouse;

• Поддерживать текущие пайплайны на Greenplum и Hadoop;

• Осуществлять миграцию с HDFS на S3;

• Проводить оптимизацию Spark-приложений;

Что мы ожидаем:

• Опыт работы с Python от 3 лет;

• Глубокое знание SQL и опыт работы с большими данными;

• Опыт работы с Apache Airflow

• Опыт проектирования и разработки ETL/ELT процессов;

• Опыт работы с колоночными БД (ClickHouse);

• Знание принципов построения Data Warehouse и Data Lake;

• Понимание разницы между OLTP/OLAP системами;

• Уверенная работа c linux и git;

• Понимание процессов ci/cd;

Что мы предлагаем:

• Оклад + годовой бонус при выполнении KPI
• ДМС с первого месяца работы и страховка для поездок за границу
• Возможность участия в волонтерских программах: благотворительные ярмарки, образовательные проекты для детей, экологические проекты.
• Корпоративная программа «ON Медиа Спорт»: оплачиваем внешние спортивные забеги, марафоны, турниры по разным видам спорта