Python-разработчик - парсинг и сбор данных (Middle/Middle+)

The role

This role is for Nebius AI R&D, a team focused on applied research and the development of AI-heavy products. Examples of applied research that we have recently published include:

• investigating how test-time guided search can be used to build more powerful agents;
• dramatically scaling task data collection to power reinforcement learning for SWE agents;
• maximizing efficiency of LLM training on agentic trajectories.

One example of an AI product that we are deeply involved in is Nebius Token Factory — an inference and fine-tuning platform for AI models.

This role will require expertise in distributed systems to build large-scale LLM training platform.

Your responsibilities will include: 

• Designing and developing LLM training platform.
• Maintaining our ML infrastructure, ensuring optimal performance, scalability and reliability.
• Improving job scheduling strategies to minimize resource fragmentation. 

We expect you to have:

• 5+ years of professional software development experience.
• Strong software engineering skills (we mostly use Python and Go).
• Proficiency in contemporary software engineering approaches, including CI/CD, version control and unit testing.
• Experience with developing web services.
• A commitment to maintaining extreme rigor in all job-related activities.

Nice to have:

• Previous experience working with language models or other similar NLP technologies.
• A track record of building and delivering products (not necessarily ML-related) in a dynamic startup-like environment.
• Strong engineering skills, including experience in developing large distributed systems or high-load web services.
• Open-source projects that showcase your engineering prowess.

Вам предстоит работать в команде, которая создаёт инструменты разработки и внутреннюю платформу. Наша главная цель — повышать эффективность инженеров за счёт улучшения процессов разработки: от написания кода до установки на флот и тестовые стенды. Мы адаптируем инфраструктуру Яндекса под специфичные нужды бизнеса автономного транспорта.

Оптимизация CI и распределённой сборки

Вы будете отвечать за скорость сборок и проверок в CI на стадии прекоммита. Предстоит делать сборочный граф проекта оптимальным, развивать и настраивать систему распределённой сборки, используя обширный кластер серверов и современные облачные технологии.

Создание инструментов разработки

Мы делаем много тулинга вокруг компилятора: например, организуем и развиваем системы статической проверки кода. Вы будете создавать технологии автоматизации, которые избавляют разработчиков от рутины и повышают качество кодовой базы.

Внедрение автомобильных стандартов безопасности

Мы ведём крупный проект по внедрению инструментов для функциональной безопасности и поддержке стандарта ASIL. Это уникальная возможность поработать с практиками safety-critical-систем на масштабе Яндекса.

Проектирование и реализация компонентов платформы

Вам предстоит снижать сложность системы, анализировать узкие места, участвовать в доработке инфраструктуры, а также улучшать или создавать с нуля её новые части.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

* Готовы писать на Python — основном языке разработки наших инструментов
* Стремитесь выбирать хорошие архитектурные решения, писать качественный код и покрывать его тестами
* Способны работать на стыке технологий, глубоко погружаться в инфраструктуру и постоянно изучать новое

* Знаете C++ или Go
* Знакомы с системами сборки (Make, CMake, Bazel) и выполняли сборку чужого исходного кода
* Понимаете принципы работы компиляторов или работали со статическими анализаторами кода

Сервисы Яндекса работают бесперебойно благодаря сетевой инфраструктуре. Десятки тысяч сетевых устройств участвуют в маршрутизации и фильтрации десятков терабит трафика в секунду. Чтобы управлять этой сетью максимально гибко, мы развиваем собственную сетевую операционную систему на базе открытого проекта SONiC — Software for Open Networking in the Cloud.

SONiC — это Linux для сетевых устройств. Эта ОС позволяет нам взять «железо» у производителя и превратить его в устройство с нужными нам функциями. Мы адаптируем ядро, оптимизируем компоненты и собираем дистрибутив так, чтобы он идеально работал с нашими специфическими задачами. Мы создаём прозрачную инфраструктуру: пишем собственные демоны и утилиты, которые работают прямо на коммутаторе и позволяют нашим мониторингам и системам автоматизации эффективно управлять устройством.

Мы ищем инженера, который будет развивать нашу внутреннюю сборку SONiC, чтобы сетевая ОС была надёжной.

Если вам интересно заниматься сетевыми операционными системами, работать на стыке системного программирования и сетей, делать инструменты для управления и автоматизации сети Яндекса, то вам у нас понравится. Опыт с SONiC не обязателен — главное иметь сильную инженерную базу, остальному научим.

Развитие собственной сборки SONiC

Вам предстоит развивать и поддерживать собственную сборку SONiC для сетевого оборудования дата-центров Яндекса: интегрировать её с новым «железом», разбираться с vendor stack / BSP и обеспечивать стабильную работу в продакшене.

Отладка и разбор сложных системных проблем

Нужно будет разбираться с проблемами на стыке Linux, networking и hardware: анализировать нестандартное поведение системы, искать причины неисправностей и аккуратно внедрять изменения под нагрузкой.

Интеграция с инфраструктурой Яндекса

Вы будете интегрировать сетевую ОС с внутренней экосистемой управления инфраструктурой и участвовать в развитии инструментов и автоматизации сетевой платформы.

Развитие сборочной и эксплуатационной инфраструктуры

Часть задач связана с развитием инфраструктуры сборки SONiC, поддержанием стабильности сборок и улучшением внутренних инженерных процессов сетевой ОС.

Работа с продакшен-инфраструктурой

Важная часть роли — развитие и эксплуатация живой сетевой инфраструктуры: безопасное внедрение изменений, повышение надёжности и сопровождение решений в продакшене.

Подписывайтесь на телеграм-канал Yandex Infrastructure, чтобы узнать больше о том, как мы делаем внутреннюю инфраструктуру Яндекса.

* Работали с продакшен-системами и решали сложные технические проблемы
* Уверенно владеете Python или Go: в идеале готовы писать на обоих языках
* Хорошо понимаете внутреннее устройство Linux: сеть, процессы, память, взаимодействие компонентов системы
* Знаете принципы построения отказоустойчивых и распределённых систем

* Работали с Linux networking stack и инструментами отладки: perf, strace, gdb и подобными
* Работали с сетевым оборудованием, занимались его первичной настройкой и обновлением
* Разбираетесь в устройстве компьютерных сетей и протоколах маршрутизации — в частности, BGP
* Имеете опыт чтения или написания кода на C/C++: внутри SONiC есть низкоуровневые компоненты на этих языках
* Понимаете принципы контейнеризации и работали с Docker: архитектура SONiC построена на контейнерах
* Интересуетесь infrastructure / system engineering и задачами на стыке networking и backend