Senior+/TeamLead Data Engineer (Python)

Чем предстоит заниматься:

• Изучение сырых данных, как на источнике, так и в Storage
• Тесное взаимодействие с командами Data Science и ML
• Разбор и устранение сложных инцидентов производительности в ClickHouse, PySpark
• Проектирование и построение витрин данных в ClickHouse
• Разработка и модификация ETL/ELT-процессов для Data Mart
• Проведение код-ревью

Вам потребуется:

• Опыт работы от 3 лет (на аналогичной позиции или схожей)

• Практический опыт построения платформ данных с использованием Apache Iceberg на S3-совместимых хранилищах или Hadoop

• Уверенное владение Python (включая PySpark)

• Продвинутый опыт работы со PySpark (batch) с большими объемами данных

• Опыт проектирования таблиц в ClickHouse

• Опыт опыт работы с ClickHouse

• Отличное знание SQL и опыт оптимизации под большие объёмы данных

• Разработка, оптимизация и масштабирование ETL/ELT-процессов

• Разработка и поддержка витрин данных для аналитики и бизнес-отчетности

• Взаимодействие с аналитиками, специалистами Data Science и ML
• Понимание принципов Data Lake / Data Lakehouse

Будет плюсом:

• Опыт работы с Hive
• Опыт работы Apache Airflow
• Понимание принципов MLOps
• Опыт работы с Kafka
• Опыт работы со Spark ( streaming)
• Понимание принципов Lakehouse
• Опыт работы с кластером ClickHouse
• Участие в проектировании и развитии архитектуры хранилищ данных (DWH) и озёр данных (Data Lake);
• Понимание различных моделей данных (Star/Snow?ake, Data Vault, Anchor Modeling

Мы предлагаем:

• Профессиональное развитие в крупной MedTech компании
• Оформление по ТК РФ с первого дня в дочернюю аккредитованную ИТ компанию
• Удаленный/ гибридный формат работы
• Здоровье и поддержка: полис ДМС с телемедициной, консультациями узких специалистов и психотерапевта. Корпоративные скидки до 50% на все виды медицинских услуг для вас и ваших близких
• + 3 дня оплачиваемых выходных
• Подарок на День рождения и для детей к Новому году и Дню знаний
• Внутреннее и внешнее обучение, семинары, тренинги
• Корпоративные скидки и эксклюзивные специальные предложения от 800+ партнеров (товары, обучение, спорт, здоровье, рестораны, отдых)
• Вознаграждение за рекомендацию друзей в команду ИНВИТРО

Предлагаем насыщенную жизнь в компании! Проводим корпоративные и спортивные мероприятия, профессиональные соревнования, конкурсы для сотрудников и членов семьи. В компании у каждого сотрудника имеется возможность для профессионального и карьерного роста.

Обязанности:

• Создание и развитие витрин данных
• Поддержка и развитие ETL-процессов (Airflow), мониторинг их состояния и производительности
• Мониторинг и поддержка производительности баз данных аналитики (PostgreSQL, ClickHouse)
• Обработка и анализ больших объемов данных для поддержки бизнес-аналитики
• Сбор и объединение данных из различных внутренних и внешних источников
• Участие в процессах Data Quality, Data Lineage, Data Governance

Мы ожидаем:

• Опыт на аналогичной позиции от 1 года
• Опыт работы с PostgreSQL, ClickHouse, Apache Airflow, DBT, Git, SQL

Условия:

• Уютный офис в пешей доступности от м.Белорусская, возможен гибридный формат работы;
• Достойный уровень ежемесячного дохода;
• ДМС + Стоматология;
• Полное соблюдение ТК РФ;
• Материальную поддержку: у нас принято финансово помогать при рождении ребенка или в сложной жизненной ситуации;
• Скидки на фитнес, английский язык;
• Оборудование и другие ресурсы