Senior DataOps Engineer (Python)

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.

Мы разрабатываем и обеспечиваем данными «Цифровой Двойник» города Москвы — информационную систему для архитектурной визуализации, BIM, CIM и геоинформационного обеспечения, позволяющую правительству Москвы своевременно принимать управленческие решения в области градостроительства.

Что нужно делать:

• проектирование, разработка и поддержка решений для хранения и обработки больших данных

• построение ETL-процессов поставки данных из внутренних и внешних источников

• сопровождение, поддержка и оптимизация разработанных пайплайнов

• разрабатывать логику для витрин данных, внедрять модели на больших данных

• создание и развитие процессов управления данными и их качеством

Какие знания и навыки важны:

• продвинутые знания SQL: умение разбираться в сложных запросах, знать как их анализировать и оптимизировать
• опыт работы с базами данных PostgreSQL, Greenplum, Clickhouse, Hive
• опыт работы с Airflow и NiFi
• опыт разработки в экосистеме Hadoop
• знания фреймворка Spark, опыт оптимизации запросов
• знание и опыт разработки на Python
• навыки разработки технической документации будет плюсом

Что предлагаем:

• официальное трудоустройство в аккредитованную ИТ-компанию
• график работы 5/2, офис в 3 минутах от станции метро Курская
• ежегодное премирование по результатам работы
• материальную помощь в случае важных событий в жизни
• корпоративное обучение и доступ к онлайн-библиотеке
• скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.

• корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие

Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!

О команде:

Планирование движения автономного автомобиля и предсказание движения всех участников вокруг него - это сложная и крайне важная задача, учитывающая множество факторов. Качественно планируя и предугадывая будущее такой автомобиль сможет обеспечить комфорт пассажиров и избежать потенциальных коллизий.

Чем предстоит заниматься:

• Разработка и развитие масштабируемой инфраструктуры для подготовки и доставки данных в пайплайны обучения;
• Разработка и поддержка пайплайнов обучения, тестирования и оценки ML-моделей;
• Оптимизация процессов обучения моделей и проведения ML-экспериментов.

Что мы ждем от кандидата:

• Опыт разработки инфраструктуры для обучения или эксплуатации ML-моделей в production;
• Хорошее понимание процесса обучения моделей машинного обучения и базовых принципов работы нейронных сетей;
• Опыт в разработке и/или поддержке систем хранения и обработки данных в больших масштабах;
• Знание классических алгоритмов и структур данных;
• Уверенное владение Python и умение писать поддерживаемый, опыт работы с PyTorch, Polars, SQL, Docker, ClearML, Git, Ray, CI/CD;
• Практический опыт со Spark / Ray и Airflow / Dagster.

Будет плюсом:

• Опыт разработки на C++;
• Опыт работы с ROS;
• Опыт работы в распределёнными системами.