Инженер данных DWH (Путешествия)

Наша команда превращает терабайты данных в понятные и полезные инсайты, которые используют аналитики и сервис, помогающий миллионам людей путешествовать. Продукт растёт огромными темпами, и вместе с ним растут наши задачи — поэтому мы постоянно развиваем собственное DWH.

Хранилище у нас построено на системах хранения данных YTsaurus (кластер MapReduce собственной разработки) и ClickHouse. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, созданный внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.

Какие задачи вас ждут

Разработка, сопровождение и ревью ETL-процессов поставки данных

Вам предстоит создавать конвейеры для извлечения, трансформации и загрузки данных из различных источников, настраивать их расписание и мониторинг. Важно регулярно проверять и улучшать код, быстро исправлять ошибки, а также тщательно документировать все преобразования и потоки данных — как собственные, так и коллег, обеспечивая соответствие стандартам качества и производительности.

Проектирование структуры хранения данных в разных слоях хранилища

Вы будете определять оптимальные схемы организации данных для каждого слоя, учитывая требования к скорости запросов и объёму хранения. Нужно разрабатывать модели данных, настраивать партиционирование, индексацию и сжатие для повышения производительности, а также согласовывать структуры с командами аналитики и разработки и адаптировать схемы, если бизнес-процессы меняются.

Выявление и оптимизация неэффективных участков в процессах поставки данных

Вы станете анализировать время выполнения ETL-задач, профилировать данные для обнаружения аномалий и избыточности, пересматривать алгоритмы трансформации для снижения нагрузки на систему.

Погружение в данные прикладных бизнес-областей и становление в них экспертом

Вы будете детально изучать бизнес-процессы и ключевые метрики компании, разбираться в логике расчёта показателей и источниках их формирования.

Мы ждем, что вы

• Проектировали DWH (слои, модели хранения данных, ETL-процессы).
• Разрабатывали ETL-процессы на Apache Airflow или аналогах.
• Настраивали поставки данных по API.
• Разбираетесь в SQL на уровне эксперта.
• Пишете на одном из языков высокого уровня (Python, Go, Java и т. д.).
• Понимаете устройство и архитектуру реляционных баз данных.
• Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными.

Будет плюсом, если вы

• Пользовались хотя бы одной MPP-СУБД (Greenplum, ClickHouse, Vertica, Teradata и т. д.).
• Понимаете принципы работы технологий распределённой обработки данных (Hadoop, MapReduce и MPP).

Что мы предлагаем

Здоровье

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят: стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также

• Психотерапия в офисе или онлайн-сервисах.
• Лазерная коррекция зрения через год работы.
• Ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20.

• Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Рост и развитие

В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Спорт

Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером.

А также скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.

Спортивный клуб Яндекса

• В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

И еще

• Гибкий график. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.
• Жилищные займы. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.
• Всё для детей. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.