Data Engineer разработчик-стажёр (Python)

О команде:

Планирование движения автономного автомобиля и предсказание движения всех участников вокруг него - это сложная и крайне важная задача, учитывающая множество факторов. Качественно планируя и предугадывая будущее такой автомобиль сможет обеспечить комфорт пассажиров и избежать потенциальных коллизий.

Чем предстоит заниматься:

• Разработка и развитие масштабируемой инфраструктуры для подготовки и доставки данных в пайплайны обучения;
• Разработка и поддержка пайплайнов обучения, тестирования и оценки ML-моделей;
• Оптимизация процессов обучения моделей и проведения ML-экспериментов.

Что мы ждем от кандидата:

• Опыт разработки инфраструктуры для обучения или эксплуатации ML-моделей в production;
• Хорошее понимание процесса обучения моделей машинного обучения и базовых принципов работы нейронных сетей;
• Опыт в разработке и/или поддержке систем хранения и обработки данных в больших масштабах;
• Знание классических алгоритмов и структур данных;
• Уверенное владение Python и умение писать поддерживаемый, опыт работы с PyTorch, Polars, SQL, Docker, ClearML, Git, Ray, CI/CD;
• Практический опыт со Spark / Ray и Airflow / Dagster.

Будет плюсом:

• Опыт разработки на C++;
• Опыт работы с ROS;
• Опыт работы в распределёнными системами.

S7 Techlab — IT-подразделение крупнейшей частной авиакомпании России. Мы разрабатываем собственные продукты для продажи авиабилетов, коммуникаций с путешественниками, учета финансов и обслуживания в аэропорту. Наши системы прогнозируют спрос и управляют предложением услуг, автоматизируют поддержку и улучшают пользовательский опыт на сайте и в приложении S7 Airlines.

В нашей команде работают талантливые увлеченные эксперты — каждый день мы создаем лучший тревел-опыт в России. Наши программные решения регулируют работу авиапарка, оптимизируют маршруты, оценивают потребности в обслуживании самолетов. Мы внедряем искусственный интеллект, машинное обучение и облачные технологии, исследуем большие данные и клиентский опыт. Наши разработки помогают миллионам людей экономить время и получать лучший сервис в полете и на земле. Мы превращаем идеи в инструменты — и меняем авиацию.

Data office S7 построен на принципах data mesh и децентрализованной аналитики.

В нашей линейке продуктов представлены хранилища, отвечающие за данные по коммерции, флоту, сотрудникам, пассажирам и рейсам.

Вам предстоит быть участником единой команды, которая занимается их разработкой и руководить ее частью.

Мы храним и обрабатываем данные в Vertica и PostgreSQL, оркестрируем ETL процессы в Airflow, реализуем стриминг в Apache Flink, обмениваемся данными с другими системами в Kafka и S3.

Храним всю инфраструктуру в Kubernetes.

Чем предстоит заниматься:

• Управление командой разработки в продуктах систем класса DWH - распределение задач, найм менторинг и развитие подчиненных, контроль и ответственность за результат команды;
• Формирование технических решений;
• Разработка, поддержка и оптимизация ETL процессов для формирования слоя модели данных, витрин данных, а также загрузки данных систем источников;
• Настройка инструментов для обработки и анализа данных;
• Взаимодействие с командой аналитиков по постановке задач и выявлению приоритетов, с командой разработки по технической реализации, со смежными командами (DBA, devops, SRE);
• Миграция с легаси решений на новые целевые.

Что мы ждем от кандидатов:

• Опыт от 3-х лет на аналогичной должности;
• Экспертное знание SQL и Python;
• Понимание способов моделирования систем класса DWH и компонентов платформы данных;
• Опыт работы с MPP БД / движками (Vertica, Greenplum, Trino, Spark), глубокое понимание особенностей работы распределенных вычислений;
• Оркестраторы ETL процессов (Airflow, Dagster);
• Опыт управления командой разработки от 2-3 человек.

Будет плюсом, если знаете и применяли в работе:

• Распределенный брокер сообщений Kafka;
• DQ фреймворки (Great Expectations, Soda, Deeque);
• Распределенные объектные хранилища (HDFS, S3);
• SQL фреймворки (dbt, sqlmesh);
• Контейнеризация и оркестрация (Docker, Kubernetes).

Мы предлагаем:

• Работа в аккредитованной IT-компании;
• Гибридный/офисный формат работы;
• Работа в комфортном офисе по адресу ул. Петровка, 7;
• Интересные и амбициозные задачи, открытость к любым, даже самым смелым идеям и предложениям в своей зоне ответственности;
• ДМС со стоматологией после прохождения испытательного срока;
• Корпоративная жизнь, насыщенная разнообразными коллективными событиями;
• Подарки для детей к первому классу и на Новый год;
• Профессиональное развитие: проходить обучение в компаниях-партнерах, участие и выступление в конференциях;
• Полеты по корпоративным тарифам S7 Airlines;
• Корпоративные скидки в BestBenefits: скидки в рестораны, на обучающие курсы, товары и тд.;
• Программа комплексной поддержки «Понимаю» (бесплатные консультации юристов, психологов, нутрициологов, финансистов).