Tech Lead Data engineer (Python, Java)

О нас и проекте

Мы — команда разработки в составе крупного стрима Data Platform. Мы создаем и развиваем Customer Catalog — высоконагруженную платформу класса Feature Store. Наша главная текущая задача — построение собственной платформы для потоковой обработки данных (Streaming).

Помимо стриминга, мы создаем внутренние DWH-инструменты на Golang и Scala, поэтому у нас много классической и интересной разработки. В нашей экосистеме мы активно используем кластер ScyllaDB, Spark и Airflow. Мы искренне ценим качество кода и используем все современные инженерные практики: автоматическое тестирование, выстроенный CI/CD, тщательный code review.

Сейчас в команде 3 сильных разработчика, и мы планируем расширение до 5 человек. Ищем зрелого инженера (ближе к Senior), который усилит нашу экспертизу.

Наш технологический стек:

• Стриминг и инфраструктура: Flink, Kubernetes (k8s)

• Работа с данными и оркестрация: ScyllaDB кластер, Apache Spark, Apache Airflow

• Основной стек: Python, Java

• Инструменты DWH / Дополнительный стек: Golang, Scala

Чем предстоит заниматься:

• Проектировать архитектуру: участвовать в формировании архитектурного облика наших продуктов и платформы Feature Store.

• Разрабатывать и внедрять: реализовывать сложные задачи по потоковой обработке данных, интеграции со ScyllaDB/Spark и DWH-инструментам.

• Оценивать и планировать: декомпозировать задачи, участвовать в планировании спринтов и оценивать трудозатраты.

• Отвечать за качество: писать юнит- и интеграционные тесты, проводить перекрестное code review.

• Поддерживать решения: осуществлять саппорт разработанных инструментов при возникновении инцидентов (3-я линия).

Ближайшие цели и ключевые задачи сотрудника :

• Проектирование и запуск NRT-пайплайнов: разработать и вывести в прод серию отказоустойчивых потоковых пайплайнов Near Real Time для обеспечения работы кредитного конвейера и систем антифрода.

• Обеспечение данными ML и витрин: выстроить эффективную поставку потоковых данных (фичей) для real-time обучения и инференса ML-моделей.

• Интеграция с клиентскими сервисами: настроить быструю отдачу агрегированных данных для мобильного приложения банка и смежных внутренних платформ.

• Участие в развитии Feature Store: внести вклад в проектирование архитектуры нашей целевой стриминг-платформы на базе Apache Flink и ScyllaDB.

Мы ожидаем:

• Опыт работы со Streaming-технологиями: уверенные знания и коммерческий опыт работы с Apache Flink.
• Профессиональное владение стеком: глубокие знания Python и/или Java.
• Опыт работы с Big Data экосистемой: опыт работы с Apache Spark, понимание принципов оркестрации процессов в Apache Airflow.
• Инфраструктурный опыт: понимание принципов работы Kubernetes и построения CI/CD пайплайнов.
• Инженерная зрелость: опыт проектирования архитектуры распределенных систем, любовь к тестам и качественному коду.

Будет плюсом:

• Опыт работы с высоконагруженными NoSQL базами данных (желательно ScyllaDB или Apache Cassandra).

• Интерес к backend-разработке и готовность/желание писать или кодить на Golang и Scala для задач DWH.

Мы предлагаем:

• Амбициозные задачи и возможность влиять на ключевые бизнес-процессы;

• Сильная техническая команда, которая всегда готова делиться опытом;

• Крутая продуктовая культура. Опираемся на исследования и метрики, фокусируемся на результате;

• Свобода действий и возможность напрямую влиять на развитие бизнеса;

• Гибкий график. Гибридный или удаленный формат работы на выбор главное — результат;

• Официальное оформление по ТК УЗ; Три дополнительных оплачиваемых дня к отпуску;

• Мы резидент IT-парка, наши специалисты могут получить IT-визу, которая приравнивается к ВНЖ;

• Развитие личного бренда на конференциях, митапах и внутренних событиях.

Комус – ведущий производитель и комплексный поставщик товаров и услуг для бизнеса.

IT-ландшафт включает в себя собственные ЦОДы, мощности в облаках и 100 бизнес-приложений, 40 из которых – крупные.

Сегодня ИТ-подразделение Комус – это аккредитованная ИТ-компания, численностью свыше 900 сотрудников.

Мы реализуем амбициозную программу цифровой трансформации, и в нашей команде открыта вакансия дата-инженер

ПРЕДЛАГАЕМ

• Конкурентный доход (обсуждаем индивидуально)
• Официальное оформление по ТК РФ в аккредитованную ИТ-компанию
• Гибридный или полностью удаленный формат работы (гибкость и индивидуальный подход), график 5/2 с 9.00 до 18.00
• Удобную локацию – новый современный офис БЦ «Интеграл» в пешей доступности от ст. м. Авиамоторная
• Развитую офисную инфраструктуру: зоны с бесплатными напитками и снеками, корпоративный бесплатный фитнес-центр и игровые пространства
• ДМС
• Корпоративную программу лояльности и скидок (товары и услуги, развлечения, рестораны, спорт, отдых и многое другое)
• Абонементы в фитнес-клубы по специальным условиям
• Дополнительное премирование в рамках реферальной программы «Все в Комус»
• Корпоративное обучение и поддержка опытного наставника
• Возможности для развития и карьерного роста
• Драйвовые мероприятия и подарки к праздникам для сотрудников и их семей

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ

• Дорабатывать OpenSource-решения DataHub и GreatExpectations интеграции с компонентами микросервисной платформы
• Дорабатывать инструменты управления инфраструктурой платформы в части компонентов слоя данных
• Реализовывать компоненты продуктов данных и процедуры контроля качества данных
• Проектировать компоненты и конвейеры обработки данных для поддержки продуктовой аналитики
• Писать unit и интеграционные тесты
• Участвовать в разработке концепций, архитектурных решений и подходов связанных с внедрением парадигмы data governance
• Участвовать в развитии CI/CD процессов
• Проводить код-ревью

ДЛЯ НАС ВАЖНЫ

• Знание современных архитектур данных (MDW, Data Lake, Data Mesh, Data flow)
• Понимание принципов потоковой и пакетной обработки данных
• Опыт в разработке и тестировании ETL/ELT-процессов на базе одного из фреймворков (Airflow, Dagster, Spark, Flink, Nifi)
• Понимание принципов и практик data governance и контроля качества данных
• Опыт реализации решений по тестированию и контролю качества данных
• Опыт разработки на Python или Java от 5 лет
• Умение писать SQL-выражения
• Опыт работы с одной из реляционных СУБД (PostgreSQL, MySQL, MSSQL)
• Понимание принципов и паттернов юнит-тестирования. Опыт работы с фреймворками юнит-тестирования на Python/Java
• Понимание принципов рефакторинга и опыт работы в парадигме TDD (Test-Driven Development)
• Опыт использования NoSQL решений (Elastic, MongoDB, Cassandra, ClickHouse и пр.)
• Опыт работы с одним или несколькими IaaC решениями (Terraform, Ansible, Helm)
• Знание и опыт использования Docker, docker-compose
• Опыт работы с git

БУДЕТ ПЛЮСОМ

• Опыт разработки Enterprise-решений с использованием Spring framework / Spring Boot / Quarkus или другими
• Знание современных паттернов проектирования (GoF, Fowler, EIP)
• Знание современных архитектурных стилей и архитектурных принципов (modulith, микросервисы, RESTful, EDA, 12factors, reactive)
• Понимание CI/CD процессов и DevOps практик
• Опыт работы с k8s / OpenShift / Nomad / Docker Swarm или другими схожими технологиями
• Знание современных методологий разработки ПО

Itransition is looking for a talented Data Engineer that is willing to solve complex technical issues while developing high quality software systems using modern technologies.

Requirements:

• 2+ years with Python including strong knowledge of data libraries (pandas, multiprocess, Google Cloud SDK)

• 2+ years of experience in ETL/ELT technologies (REST API, GraphQL, DBT, etc. ) and data pipeline orchestration (e.g., Airflow, Astronomer, DBT cloud, etc)

• Hands-on experience with Snowflake

• Problem-solving and root cause analysis in live production systems along with experience querying and transforming large volumes of data, data quality and data validation

• Experience in SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)

• Comfortable working with serialized data format (JSON, AVRO, XML, CSV) as well as compressed and encoded files

• Comfortable with ingesting data using REST APIs, data transformations and data loading/unloading techniques

• English proficiency sufficient to work in an international environment

Nice to have:

• Capable of designing and implementing data pipelines over cloud architecture
• Experience working with CI/CD deployments
• Experience working with GIT

We can offer:

• Projects for such clients as PayPal, Wargaming, Xerox, Philips, adidas and Toyota
• Competitive compensation that depends on your qualification and skills
• Career development system with clear skill qualifications
• Options to work remotely
• Compensation for medical expenses
• English courses online
• Corporate parties and events for employees and their children
• Internal conferences, workshops and meetups for learning and experience sharing
• Gym membership compensation, corporate sport competitions (cybersport included)
• 5 days of paid sick leave per year with no obligation to submit a sick-leave certificate