Data Engineer (Python, FastAPI)

Мы передовое ИТ подразделение, создающее дата платформу на сотни петобайт данных для крупшейшего юнита банка

Нами реализована загрузка, обработка и контроль качества разрозненных данных из сотен систем-источников банка в единое хранилище в Data Lakehouse архитектуре на платформе Hadoop.

Ищем сильных и энергичных дата инженеров для развития нашей платформы в сторону обработки данных в режимах батчевой и потоковой загрузки.

Вы будете работать в сильной команде дата инженеров с сложными инженерными задачами, передовым стеком технологий и самыми большими объемами данных в Европе

Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket.

языки - Python, Java, Scala.

Обязанности

• разработка DWH/DataLake/LakeHouse
• построение поставки данных в Batch
• оптимизация ETL
• разработка и валидация архитектуры данных
• people management – планирование релизов, ресурсов команды
• обеспечение надежности промышленных ETL потоков.

Требования

• отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
• опыт работы с Hadoop, Spark, Iceberg
• опыт работы с оркестраторами (например, Airflow) и CI/CD
• опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)
• опыт кратной оптимизации spark приложений
• практический опыт разработки solution-архитектуры data-продуктов
• практическое знание python на уровне разработки ETL будет преимуществом
• практическое знание java/scala будет преимуществом
• практический опыт создания и защиты архитектуры данных будет преимуществом
• навыки работы с генеративными AI-моделями, опыт использования GigaChat, Kandinsky и аналогов в продуктах
• навыки создания и использования AI-агентов инструментальное владение AI для анализа, генерации и автоматизации.

Условия

• ежегодный пересмотр зарплаты и годовая премия
• расширенный ДМС и льготное страхование для семьи
• уникальная система обучения Сбера для профессионального и карьерного развития
• выгодная ипотека для сотрудников
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа.

Комус – ведущий производитель и комплексный поставщик товаров и услуг для бизнеса.

IT-ландшафт включает в себя собственные ЦОДы, мощности в облаках и 100 бизнес-приложений, 40 из которых – крупные.

Сегодня ИТ-подразделение Комус – это аккредитованная ИТ-компания, численностью свыше 900 сотрудников.

Мы реализуем амбициозную программу цифровой трансформации, и в нашей команде открыта вакансия дата-инженер

ПРЕДЛАГАЕМ

• Конкурентный доход (обсуждаем индивидуально)
• Официальное оформление по ТК РФ в аккредитованную ИТ-компанию
• Гибридный или полностью удаленный формат работы (гибкость и индивидуальный подход), график 5/2 с 9.00 до 18.00
• Удобную локацию – новый современный офис БЦ «Интеграл» в пешей доступности от ст. м. Авиамоторная
• Развитую офисную инфраструктуру: зоны с бесплатными напитками и снеками, корпоративный бесплатный фитнес-центр и игровые пространства
• ДМС
• Корпоративную программу лояльности и скидок (товары и услуги, развлечения, рестораны, спорт, отдых и многое другое)
• Абонементы в фитнес-клубы по специальным условиям
• Дополнительное премирование в рамках реферальной программы «Все в Комус»
• Корпоративное обучение и поддержка опытного наставника
• Возможности для развития и карьерного роста
• Драйвовые мероприятия и подарки к праздникам для сотрудников и их семей

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ

• Дорабатывать OpenSource-решения DataHub и GreatExpectations интеграции с компонентами микросервисной платформы
• Дорабатывать инструменты управления инфраструктурой платформы в части компонентов слоя данных
• Реализовывать компоненты продуктов данных и процедуры контроля качества данных
• Проектировать компоненты и конвейеры обработки данных для поддержки продуктовой аналитики
• Писать unit и интеграционные тесты
• Участвовать в разработке концепций, архитектурных решений и подходов связанных с внедрением парадигмы data governance
• Участвовать в развитии CI/CD процессов
• Проводить код-ревью

ДЛЯ НАС ВАЖНЫ

• Знание современных архитектур данных (MDW, Data Lake, Data Mesh, Data flow)
• Понимание принципов потоковой и пакетной обработки данных
• Опыт в разработке и тестировании ETL/ELT-процессов на базе одного из фреймворков (Airflow, Dagster, Spark, Flink, Nifi)
• Понимание принципов и практик data governance и контроля качества данных
• Опыт реализации решений по тестированию и контролю качества данных
• Опыт разработки на Python или Java от 5 лет
• Умение писать SQL-выражения
• Опыт работы с одной из реляционных СУБД (PostgreSQL, MySQL, MSSQL)
• Понимание принципов и паттернов юнит-тестирования. Опыт работы с фреймворками юнит-тестирования на Python/Java
• Понимание принципов рефакторинга и опыт работы в парадигме TDD (Test-Driven Development)
• Опыт использования NoSQL решений (Elastic, MongoDB, Cassandra, ClickHouse и пр.)
• Опыт работы с одним или несколькими IaaC решениями (Terraform, Ansible, Helm)
• Знание и опыт использования Docker, docker-compose
• Опыт работы с git

БУДЕТ ПЛЮСОМ

• Опыт разработки Enterprise-решений с использованием Spring framework / Spring Boot / Quarkus или другими
• Знание современных паттернов проектирования (GoF, Fowler, EIP)
• Знание современных архитектурных стилей и архитектурных принципов (modulith, микросервисы, RESTful, EDA, 12factors, reactive)
• Понимание CI/CD процессов и DevOps практик
• Опыт работы с k8s / OpenShift / Nomad / Docker Swarm или другими схожими технологиями
• Знание современных методологий разработки ПО

Финтех в Яндексе — это одно из ключевых и наиболее динамично развивающихся направлений компании. Это экосистема финансовых сервисов, встроенная в повседневную жизнь миллионов пользователей и бизнесов. Это молодое, смелое направление, которое уже доказало свою пользу и продолжает активно расти.

Ключевые продукты Финтеха: Яндекс Пэй, Сплит, Сейвы, Карта Плюса, кредитные продукты, Яндекс ID, Яндекс Про и многое другое.

Это сложная инженерная и аналитическая среда, где пересекаются высокая нагрузка, большие данные и жёсткие требования регуляторов.

В команду платформенных данных требуется специалист по Apache Spark с глубоким понимаем внутренней архитектуры фреймворка. Основная задача — развитие платформы для обработки NRT-данных (near real time), повышение отказоустойчивости и производительности потоковых процессов.

Вот с чем вам предстоит столкнуться:
* Высокие нагрузки: миллионы транзакций, таблицы с объёмом далеко за 1 млн записей
* Распределённые данные: используются Greenplum, ClickHouse, Hadoop, Spark для обработки огромных массивов информации
* Архитектура DWH: строятся сложные хранилища данных, витрины для отчётности (регуляторной и управленческой), настраиваются ETL-процессы
* Безопасность и интеграция: проработка интеграций с внешними источниками (БКИ, СМЭВ), автоматизация ручных процессов бэк-офиса, работа с автоматизированными банковскими системами

Стек для ежедневных задач:
* Язык: Python (основной для разработки пайплайнов и скриптов)
* Оркестрация: Apache Airflow (разработка пайплайнов)
* Обработка данных: Apache Spark (Spark SQL, DataFrame)
* Запросы: Trino (работа с данными через движок)

Подробнее о нас — на странице Финтеха.

Проектирование и развитие облачной дата-платформы

Мы готовимся к кратному росту объёмов обрабатываемых данных. Вы будете оптимизировать инфраструктуру и проектировать новые компоненты платформы с использованием облачных технологий Yandex Cloud.

Построение единой observability-платформы для таблиц DWH

Мы обеспечиваем наблюдаемость и контролируемость процессов. Вам предстоит создать единую точку входа для мониторинга статусов сборки, качества данных и анализа зависимостей, включая построение datalineage и процессы логирования.

Ускорение текущих процессов поставки данных

Наша задача — ускорить обработку растущих потоков данных. Вы будете оптимизировать существующие и выстраивать новые надёжные процессы поставки данных, включая процессы взятия снепшотов, загрузки инкрементов напрямую, из аудит-таблиц и CDC, а также внедрять Spark Streaming или аналогичные решения для обеспечения обновления данных с минимальной задержкой.

Построение тестовых окружений

Мы выстраиваем среду безопасной разработки и повышаем надёжность разрабатываемых решений. В ваши задачи войдёт создание изолированных сред разработки, тестирования и предпрода с автоматизированными процессами проверки.

Развитие фреймворков обработки данных

Для ускорения разработки мы создаём low-code-решения. Вам предстоит развивать внутренние фреймворки для загрузки, трансформации и контроля качества данных.

Больше о разработке в Яндексе — в канале Yandex for Developers

* Занимались коммерческой разработкой от четырёх лет
* Глубоко понимаете устройство баз данных: оптимизация запросов, планы выполнения, партиционирование, шардирование и индексы
* Владеете СУБД разного типа: PostgreSQL, Oracle, MongoDB, Greenplum
* Имеете опыт работы с CDC (Change Data Capture): понимаете принципы и умеете реализовывать пайплайны
* Уверенно работаете с S3-совместимыми хранилищами