Senior Backend Engineer, Core Banking & Ledger (Python, Django)

Мы строим корпоративную дата-платформу нового поколения: объединяем забор, хранение, трансформации и потребление данных в единый стандартизированный путь. Объединяем разрозненные решения, заново проектируем архитектуру и постепенно переносим действующие процессы на новый стек.

Ищем тимлида, который возглавит кросс-функциональную команду SMT дата-инженеров, системных аналитиков, BI и QA. Команда отвечает за трансформации, silver и gold слои, витрины, семантический слой и инструменты потребления. Наша цель сделать так, чтобы аналитик мог быстро и безопасно собирать и публиковать витрины без постоянного участия дата-инженера.

SMT работает в связке с Holocron, которая отвечает за ingestion, доставку и сырой слой. Ты будешь управлять командой целиком, развивать архитектуру и качество, участвовать в найме и продолжать писать код. Вместе с менеджером проекта отвечать за результат: он за roadmap, приоритеты и стейкхолдеров, ты за команду, техническое планирование и инженерное качество.

Стек

Python, Spark, Airflow, Kafka, S3, Iceberg, StarRocks основной кандидат на роль движка над Iceberg, ClickHouse для аналитической нагрузки, Kubernetes, CI/CD. Внедряем OpenMetadata для каталога и lineage. Подход к трансформациям выбираем: dbt или собственное решение.

Что предстоит делать

• Участвовать в разработке ядра платформы и самых сложных задачах команды. На отдельных этапах код может занимать до половины времени.
• Участвовать в архитектуре SMT и вместе с Holocron проектировать единый путь от ingestion до потребления: простой self-service сценарий должен занимать минуты, а сложный оставаться возможным.
• Растить кросс-функциональную команду: нанимать и развивать специалистов, давать обратную связь, участвовать в перформанс-ревью, выстраивать взаимодействие инженеров, аналитиков, BI и QA.
• Делить команду на зоны ответственности и опираться на сильных специалистов как на лидов направлений.
• Участвовать в миграции существующих процессов на платформу: разобраться в текущей логике, спланировать перенос и довести его до стабильной работы на новом стеке.
• Выстраивать инженерные процессы: код-ревью, тестирование пайплайнов, дежурства, разбор инцидентов, SLA на доставку данных.
• Отвечать за стабильность и производительность: метрики, мониторинг, стоимость вычислений, скорость создания витрин и использование self-service инструментов.
• Формировать техническое видение и защищать его вместе с менеджером проекта переводить бизнес-запросы в инженерные решения.
• Внедрять AI-инструменты там, где они реально ускоряют команду.

Мы будем рады, если ты

• Сильный инженер, который уже вёл команду формально или фактически. Хочешь совмещать управление с участием в разработке и не планируешь уходить в чистый менеджмент.
• Разбираешься в дата-инфраструктуре: ETL/ELT, DWH и Data Lake, модели данных, витрины, семантический слой.
• Хорошо владеешь Python или Go и SQL, знаком с Airflow, CI/CD, Docker, Kubernetes.
• Понимаешь распределённые системы: как ведёт себя Spark под нагрузкой, что происходит с данными в объектном хранилище, где у обработки узкие места.
• Умеешь мыслить продуктово: смотреть на внутренний инструмент глазами его пользователя и отличать нужное от красивого.
• Умеешь управлять кросс-функциональной командой и делегировать: команда из десяти человек не управляется в ручном режиме.
• Принимаешь решения в условиях неопределённости и умеешь объяснить, почему выбрал именно это.
• Умеешь разбираться в существующих системах и переносить критичные для бизнеса процессы без потери стабильности.

Плюсом будет

• Опыт создания self-service инструментов для аналитиков или разработчиков внутренних платформ, low-code/no-code интерфейсов.
• Работа с открытыми табличными форматами.
• Опыт с dbt или собственными фреймворками трансформаций.
• Опыт с StarRocks, ClickHouse или другими движками аналитических запросов.
• Data Quality, Data Contracts, Data Lineage, Data Catalog — на практике, а не в теории.
• Опыт работы с высоконагруженной Kafka.
• Опыт публичных выступлений и работы с инженерным брендом.

Команда CloudGate отвечает за программную часть внешней сетевой связности в Yandex Cloud. Мы строим систему доставки трафика для разных сценариев: IPv4-связности, Cloud Interconnect, NAT, сетевого балансировщика нагрузки. Через наши сервисы проходит весь внешний трафик Yandex Cloud — а это терабиты трафика в секунду. У нас микросервисная архитектура с gRPC-транспортом и Yandex Database в качестве хранилища данных.

Читайте подробности о том, как всё это работает, на Хабре — или посмотрите наши выступления:
* Александр Демиденко. Healthcheck в сетевом балансировщике нагрузки Yandex Cloud
* Ринат Байгильдин. Inside VPS
* Антон Черноусов, Константин Крамлих. Как мы делаем Yandex Cloud — Network
* Митап about:cloud — infrastructure
* Я.Субботник по Go

Разрабатывать на Go

Разрабатывать микросервисы на Go, развивать системы доставки трафика data-plane и control-plane.

Развивать сервис

Развивать SLI/SLO сервисов и платформу для сбора и обработки метрик: от сигналов о состоянии маршрутизации и трафика до автоматических проверок консистентности data-plane.

Масштабировать распределённые сервисы

Заниматься шардированием, нагрузочным тестированием.

Автоматизировать типовые операции

Автоматизировать операции self-healing и autorecovery, убирать рутинные ручные процедуры.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

* Имеете опыт промышленной разработки на Go от трёх лет
* Пишете надёжный высокопроизводительный код
* Работали с gRPC и микросервисной архитектурой
* Разрабатывали для Linux

* Работали с сетями: маршрутизация, BGP
* Занимались эксплуатацией сервисов: дежурства, инциденты, разбор их причин
* Работали с системами мониторинга и обработки time-series-метрик