Data Engineer (Python)
- Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО
Неизвестный работодатель На сервисе с: 06.10.26 11:01
Data Engineer
▫️Грейд: Middle+/TeamLead
▫️Домен: Производство
▫️Локация: РФ/РБ
▫️Длительность: 6+ мес.
Требования:
Обязательные:
- Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО
- DBMS & Warehouses: уверенная работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis)
- Data Flow Tools: практический опыт работы с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты)
- Data Lake / Lakehouse: опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3
- CDC: опыт реализации Change Data Capture паттернов для синхронизации данных между системами
- Глубокие знания в области архитектуры данных и баз данных: понимание принципов нормализации и денормализации, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning)
- Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью при необходимости; опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors
- Навыки оптимизации: умение профилировать процессы, находить bottlenecks, оптимизировать SQL-запросы и настраивать ресурсы кластеров под нагрузку
- Владение Jira и Confluence на уровне confident user (структура страниц, шаблоны, макросы, связки задач и документации)
- Опыт организации хранения данных для последующих задач OLAP / OLTP с учетом требований (consistency / integrity)
- Опыт организации обработки данных в рамках задач OLAP / OLTP с применением различных паттернов (batch processing, CDC)
- Понимание ключевых особенностей и сценариев применения различных паттернов организации интеграционных потоков (batch processing, CDC) с учетом их характеристик (3V+)
- Опыт заведения и сопровождения заявок в сервис-деске
- Умение структурировать информацию, работать с требованиями, документировать технические решения
- Английский язык — на уровне чтения и написания технической документации
Будет плюсом:
- Опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.)
- Глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production-среде
- Знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE)
- Опыт работы с CI/CD для data-пайплайнов
- Понимание принципов DDD, event-driven архитектуры
- Опыт работы с Apache NiFi
Откликнуться на запрос: ••••••••
По вопросам партнерского сотрудничества: ••••••••
Похожие вакансии Data Engineer
Чем предстоит заниматься:
- Изучение сырых данных, как на источнике, так и в Storage
- Тесное взаимодействие с командами Data Science и ML
- Разбор и устранение сложных инцидентов производительности в ClickHouse, PySpark
- Проектирование и построение витрин данных в ClickHouse
- Разработка и модификация ETL/ELT-процессов для Data Mart
- Проведение код-ревью
Вам потребуется:
- Опыт работы от 3 лет (на аналогичной позиции или схожей)
-
Практический опыт построения платформ данных с использованием Apache Iceberg на S3-совместимых хранилищах или Hadoop
-
Уверенное владение Python (включая PySpark)
-
Продвинутый опыт работы со PySpark (batch) с большими объемами данных
-
Опыт проектирования таблиц в ClickHouse
-
Опыт опыт работы с ClickHouse
-
Отличное знание SQL и опыт оптимизации под большие объёмы данных
-
Разработка, оптимизация и масштабирование ETL/ELT-процессов
-
Разработка и поддержка витрин данных для аналитики и бизнес-отчетности
- Взаимодействие с аналитиками, специалистами Data Science и ML
- Понимание принципов Data Lake / Data Lakehouse
Будет плюсом:
- Опыт работы с Hive
- Опыт работы Apache Airflow
- Понимание принципов MLOps
- Опыт работы с Kafka
- Опыт работы со Spark ( streaming)
- Понимание принципов Lakehouse
- Опыт работы с кластером ClickHouse
- Участие в проектировании и развитии архитектуры хранилищ данных (DWH) и озёр данных (Data Lake);
- Понимание различных моделей данных (Star/Snow?ake, Data Vault, Anchor Modeling
Мы предлагаем:
- Профессиональное развитие в крупной MedTech компании
- Оформление по ТК РФ с первого дня в дочернюю аккредитованную ИТ компанию
- Удаленный/ гибридный формат работы
- Здоровье и поддержка: полис ДМС с телемедициной, консультациями узких специалистов и психотерапевта. Корпоративные скидки до 50% на все виды медицинских услуг для вас и ваших близких
- + 3 дня оплачиваемых выходных
- Подарок на День рождения и для детей к Новому году и Дню знаний
- Внутреннее и внешнее обучение, семинары, тренинги
- Корпоративные скидки и эксклюзивные специальные предложения от 800+ партнеров (товары, обучение, спорт, здоровье, рестораны, отдых)
- Вознаграждение за рекомендацию друзей в команду ИНВИТРО
Предлагаем насыщенную жизнь в компании! Проводим корпоративные и спортивные мероприятия, профессиональные соревнования, конкурсы для сотрудников и членов семьи. В компании у каждого сотрудника имеется возможность для профессионального и карьерного роста.
Обязанности:
- Создание и развитие витрин данных
- Поддержка и развитие ETL-процессов (Airflow), мониторинг их состояния и производительности
- Мониторинг и поддержка производительности баз данных аналитики (PostgreSQL, ClickHouse)
- Обработка и анализ больших объемов данных для поддержки бизнес-аналитики
- Сбор и объединение данных из различных внутренних и внешних источников
- Участие в процессах Data Quality, Data Lineage, Data Governance
Мы ожидаем:
- Опыт на аналогичной позиции от 1 года
- Опыт работы с PostgreSQL, ClickHouse, Apache Airflow, DBT, Git, SQL
Условия:
- Уютный офис в пешей доступности от м.Белорусская, возможен гибридный формат работы;
- Достойный уровень ежемесячного дохода;
- ДМС + Стоматология;
- Полное соблюдение ТК РФ;
- Материальную поддержку: у нас принято финансово помогать при рождении ребенка или в сложной жизненной ситуации;
- Скидки на фитнес, английский язык;
- Оборудование и другие ресурсы
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.