Вакансии uzum technologies. it: работа в IT и digital

О нас и проекте

Мы — команда разработки в составе крупного стрима Data Platform. Мы создаем и развиваем Customer Catalog — высоконагруженную платформу класса Feature Store. Наша главная текущая задача — построение собственной платформы для потоковой обработки данных (Streaming).

Помимо стриминга, мы создаем внутренние DWH-инструменты на Golang и Scala, поэтому у нас много классической и интересной разработки. В нашей экосистеме мы активно используем кластер ScyllaDB, Spark и Airflow. Мы искренне ценим качество кода и используем все современные инженерные практики: автоматическое тестирование, выстроенный CI/CD, тщательный code review.

Сейчас в команде 3 сильных разработчика, и мы планируем расширение до 5 человек. Ищем зрелого инженера (ближе к Senior), который усилит нашу экспертизу.

Наш технологический стек:

• Стриминг и инфраструктура: Flink, Kubernetes (k8s)

• Работа с данными и оркестрация: ScyllaDB кластер, Apache Spark, Apache Airflow

• Основной стек: Python, Java

• Инструменты DWH / Дополнительный стек: Golang, Scala

Чем предстоит заниматься:

• Проектировать архитектуру: участвовать в формировании архитектурного облика наших продуктов и платформы Feature Store.

• Разрабатывать и внедрять: реализовывать сложные задачи по потоковой обработке данных, интеграции со ScyllaDB/Spark и DWH-инструментам.

• Оценивать и планировать: декомпозировать задачи, участвовать в планировании спринтов и оценивать трудозатраты.

• Отвечать за качество: писать юнит- и интеграционные тесты, проводить перекрестное code review.

• Поддерживать решения: осуществлять саппорт разработанных инструментов при возникновении инцидентов (3-я линия).

Ближайшие цели и ключевые задачи сотрудника :

• Проектирование и запуск NRT-пайплайнов: разработать и вывести в прод серию отказоустойчивых потоковых пайплайнов Near Real Time для обеспечения работы кредитного конвейера и систем антифрода.

• Обеспечение данными ML и витрин: выстроить эффективную поставку потоковых данных (фичей) для real-time обучения и инференса ML-моделей.

• Интеграция с клиентскими сервисами: настроить быструю отдачу агрегированных данных для мобильного приложения банка и смежных внутренних платформ.

• Участие в развитии Feature Store: внести вклад в проектирование архитектуры нашей целевой стриминг-платформы на базе Apache Flink и ScyllaDB.

Мы ожидаем:

• Опыт работы со Streaming-технологиями: уверенные знания и коммерческий опыт работы с Apache Flink.
• Профессиональное владение стеком: глубокие знания Python и/или Java.
• Опыт работы с Big Data экосистемой: опыт работы с Apache Spark, понимание принципов оркестрации процессов в Apache Airflow.
• Инфраструктурный опыт: понимание принципов работы Kubernetes и построения CI/CD пайплайнов.
• Инженерная зрелость: опыт проектирования архитектуры распределенных систем, любовь к тестам и качественному коду.

Будет плюсом:

• Опыт работы с высоконагруженными NoSQL базами данных (желательно ScyllaDB или Apache Cassandra).

• Интерес к backend-разработке и готовность/желание писать или кодить на Golang и Scala для задач DWH.

Мы предлагаем:

• Амбициозные задачи и возможность влиять на ключевые бизнес-процессы;

• Сильная техническая команда, которая всегда готова делиться опытом;

• Крутая продуктовая культура. Опираемся на исследования и метрики, фокусируемся на результате;

• Свобода действий и возможность напрямую влиять на развитие бизнеса;

• Гибкий график. Гибридный или удаленный формат работы на выбор главное — результат;

• Официальное оформление по ТК УЗ; Три дополнительных оплачиваемых дня к отпуску;

• Мы резидент IT-парка, наши специалисты могут получить IT-визу, которая приравнивается к ВНЖ;

• Развитие личного бренда на конференциях, митапах и внутренних событиях.

Чем предстоит заниматься

• Развивать real-time хранилище и дата-платформу.
• Строить полный data flow: от получения данных из источников и их транспортировки до обработки, хранения и предоставления потребителям.
• Проектировать архитектуру дата-платформы с учётом роста объёмов данных, нагрузки, производительности и отказоустойчивости.
• Развивать и эксплуатировать ClickHouse-кластеры: репликация, шардирование, резервное копирование, восстановление, масштабирование и оптимизация производительности.
• Проектировать и развивать потоки данных на базе Kafka и других компонентов платформы.
• Работать с объектными и распределёнными хранилищами: S3, Ceph.
• Развивать observability дата-платформы: метрики, мониторинг, алертинг, сбор и анализ логов.
• Искать узкие места и разбирать проблемы на всём пути данных — от источника и сети до брокера, хранилища и конечного потребителя.
• Работать в тесной связке с DevOps-командой и участвовать в инфраструктурных и архитектурных решениях на стыке Data Engineering и DevOps.

Наш стек :
ClickHouse, Kafka, Ceph, S3, PostgreSQL, MongoDB, Airflow, Celery, Superset, VictoriaMetrics.

Мы ожидаем:

• От 5 лет опыта в Data Engineering или смежных инженерных направлениях.
• От 3 лет коммерческого опыта с ClickHouse: глубокое понимание его архитектуры, движков таблиц, оптимизации запросов, партиционирования, шардирования и репликации.
• Опыт проектирования и эксплуатации распределённых data-систем под высокой нагрузкой.
• Понимание принципов работы Kafka и архитектуры потоковой обработки данных.
• Уверенное владение Linux и понимание сетевого стека: TCP/IP, DNS, балансировка, диагностика сетевых проблем.
• Опыт построения и эксплуатации data pipelines и работы с оркестраторами (Airflow или аналогами).
• Понимание принципов работы объектных и распределённых хранилищ.
• Понимание observability: какие метрики необходимо собирать, как строить мониторинг и алертинг, как организовывать централизованный сбор и анализ логов.
• Знание принципов CI/CD и DevOps-подходов применительно к дата-платформам.
• Понимание принципов построения масштабируемых и отказоустойчивых распределённых систем.

Для нас Data Engineer — это не только работа с данными и написание ETL/ELT-процессов. Нам важно, чтобы инженер понимал архитектуру и внутреннее устройство систем, через которые проходят данные, мог находить проблемы на разных уровнях и участвовать в проектировании и развитии дата-платформы целиком.