Разработчик в команду потоковых и федеративных запросов YDB

YDB — это распределённая отказоустойчивая реляционная база данных с открытым исходным кодом, которая сочетает высокую доступность, масштабируемость и производительность. Вместе с сопутствующим стеком serverless-технологий YDB позволяет организовать систему хранения и обработки данных для самых сложных и требовательных приложений.

Также YDB — это платформа для создания инфраструктурных компонентов. Мы предлагаем пользователям не только надёжные транзакции поверх таблиц, но и готовые решения на основе самого движка: персистентные очереди, федеративные запросы, сетевые диски для виртуальных машин (Yandex Network Block Store) и другое.

YDB используется в Маркете, Такси, Банке, Алисе и других сервисах Яндекса. Мы уже умеем обрабатывать миллионы запросов в секунду и надёжно хранить петабайты данных. На базе YDB построены решения для доставки платёжных данных в биллинг Яндекса и хранения логов в Yandex Cloud.

Наша команда разрабатывает облачный сервис Yandex Query и движок федеративных запросов в YDB. Yandex Query предназначен для анализа данных в Object Storage и потоковых данных из шины Yandex Data Streams с помощью SQL-запросов. Ближайшие аналоги нашего сервиса: AWS Athena, Microsoft Azure, Apache Flink, Google Cloud Dataflow.

Отличительные характеристики Yandex Query:
* федеративность — возможность работы с разными типами источников в одном запросе;
* гибридность — совмещённый синтаксис для стриминговых и батч-запросов;
* serverless — возможность работы с данными без предварительного заказа и выделения вычислительных мощностей;
* масштабируемость — один запрос может выполняться на нескольких узлах кластера;
* отказоустойчивость — отказ отдельных узлов и даже дата-центров не повлияет на работу пользователей.

* Разрабатывать core-engine-процессинг
* Продумывать безопасность работы пользовательского кода в облачном контуре
* Отвечать за интеграцию с разнородными хранилищами данных
* Решать сложные задачи в области распределённых систем и обработки данных в реальном времени

* Пишете на С++ более трех лет
* Знаете базовые алгоритмы и структуры данных
* Понимаете парадигму многопоточности, знакомы с основными подходами, проблемами и ограничениями в этой области

* Работали с системами виртуализации и контейнеризации (k8s), с высоконагруженными распределёнными системами или другими облачными или serverless-платформами