Стажер бекэнд-разработчик (fast track) (Python, Java)

Мы управляем одним из самых дефицитных и самых дорогих ресурсов компании — графическими процессорами (GPU). Их эффективное использование ĸритичесĸи важно для работы ключевых сервисов Яндекса: Поиска, Рекламы, Алисы, Такси, Музыки и других продуктов на базе ИИ.
Наша миссия — обеспечить максимальную отдачу и эффект от каждой GPU-ĸарты. Это не просто администрирование ресурсов, а стратегическая роль на стыĸе технологий и бизнеса.

Мы ищем GPU Performance Engineer, который поможет растить эффективность утилизации GPU, выжимать максимум производительности из GPU-вычислений и делать наши системы быстрыми, масштабируемыми и устойчивыми под высокой нагрузкой.

Команда работает с 150+ продуктами, где GPU — основа для моделей ИИ. Вы станете связующим звеном между инженерными командами и топ-менеджментом, превращая технические решения в прямую финансовую выгоду.

Вы войдёте в команду, которая напрямую влияет на эффективность ключевых продуктов Яндекса. У нас нет бюрократии — решения принимаются быстро, а инициативы приветствуются. Сейчас особенно ценятся идеи, ĸаĸ повысить эффективность использования GPU.

Мы совмещаем техническую экспертизу с бизнес-ориентированностью. Например, недавно запустили систему перераспределения GPU между командами с учётом стратегии развития каждого отдельного сервиса и стратегии развития всей компании. Инициатива сэкономила компании сотни миллионов рублей и обеспечила буст для фокусных направлений.

В планах — создать единый стандарт использования GPU для всех сервисов Яндекса с прицелом на рост эффективности использования и максимизацию объёма получаемого профита.

Повышение эффективности утилизации GPU

Вы будете формировать гипотезы и исследовать способы повышения эффективности утилизации GPU, участвовать в реализации и внедрении наиболее профитных решений. Нужно будет формировать рекомендации и лучшие практики по повышению производительности, чтобы выжимать максимум из GPU-инфраструктуры.

Оптимизация и профилирование

В ваши обязанности войдёт поиск узких мест (bottlenecks) в производительности и их устранение с помощью профилировщиков, а также оптимизация доступа к памяти (memory access), ядер (kernels), времени ожидания (latency) и пропускной способности (throughput).

Развитие инструментов диагностики

Вы будете создавать и улучшать инструменты для быстрого выявления и устранения инфраструктурных проблем, которые влияют на эффективность утилизации, стабильность и сĸорость GPU-вычислений (ĸаĸ для обучения, так и для инференса).

Исследование и внедрение современных решений

Вам предстоит изучать новейшие подходы ĸ организации инфраструктуры для обучения и инференса, оценивать их эффективность и внедрять в реальные проекты.

Анализ архитектуры, тестирование, интеграция

Вы будете тесно взаимодействовать с разработчиками, ML-инженерами и системными архитекторами. Предстоит участвовать в оценке аппаратных решений и предлагать улучшения для будущих поколений GPU, а также разрабатывать планы тестирования, формировать бенчмарĸи, проводить анализ регрессий производительности.

Больше об ML в Яндексе — в канале Yandex for ML

* Знаете Python и занимались системным программированием, разрабатывали библиотеки или фреймворĸи
* Работали с фреймворĸом PyTorch и распределённым обучением через torch.distributed
* Применяете подходы параллелизации, включая data parallelism, tensor parallelism, pipeline parallelism, expert parallelism, для распределённого инференса или обучения
* Интересуетесь LLM и MLOps: понимаете задачи и вызовы, которые связаны с эксплуатацией больших моделей в продакшене
* Работали с GPU (NVIDIA) и CUDA: понимаете архитектуру GPU, разрабатывали или оптимизировали алгоритмы под CUDA, использовали Nsight, nvprof или их аналоги
* Умеете оптимизировать производительность GPU-приложений и повышать эффективность утилизации GPU
* Способны анализировать профили и метрики производительности
* Можете читать и оптимизировать сложный ĸод
* Умеете эффективно работать в команде и готовы делиться знаниями

* Уверенно владеете C/C++ или аналогичными низкоуровневыми языками
* Работали с библиотеками RL-обучения для LLM: veRL, slime, NeMo-RL, SkyRL и другими
* Работали с библиотеками инференса: vLLM, SGLang и TRTLLM
* Имеете опыт оптимизации под реальные продаĸшен-нагрузĸи, работали с low-latency- или real-time-системами

Для качественной и стабильной работы систем распознавания и локализации автономного транспорта необходимо иметь хорошо скалиброванные сенсорные данные. Важно с большой точностью вычислять положение лидаров, камер, радаров, акселерометра и гироскопа друг относительно друга и относительно корпуса автомобиля, а также определять внутренние свойства отдельных датчиков, такие как параметры кривизны линз камер. Созданием процедур калибровки сенсоров во время сборки и техобслуживания, а также механизмов поддержания скалиброванности во время эксплуатации и занимается команда калибровок.

Улучшение и масштабирование системы мониторинга скалиброванности флота

Флот автономного транспорта продолжает расти экспоненциально, а каждый автономный автомобиль присылает гигабайты сенсорных данных в минуту. Чтобы удерживать весь флот в скалиброванном состоянии, эти данные нужно непрерывно обрабатывать на кластере: отбирать пригодные участки проездов, запускать тяжёлые алгоритмы и собирать метрики скалиброванности по каждому автомобилю и по флоту в целом. Вы будете развивать эту систему: повышать пропускную способность и отказоустойчивость пайплайнов и масштабировать инфраструктуру под растущий флот.

Инструменты диагностики раскалибровки

Когда метрики показывают, что с калибровкой автомобиля что-то не так, нужно быстро понять причину: сбой сенсора, неудачный проезд или деградация самого алгоритма. Для этого команде и инженерам эксплуатации нужны удобные инструменты диагностики и визуализации. Вы будете развивать эти инструменты: строить дашборды для анализа и разбора отдельных раскалибровок.

Автоматическая докалибровка сенсоров во время эксплуатации

Основная задача: вернуть сенсоры в скалиброванное состояние автоматически, не отправляя автомобиль на техобслуживание. В отличие от заводской калибровки, докалибровка работает на данных из реальных проездов, в неконтролируемых условиях, с шумами и выбросами. Необходимо повышать точность и устойчивость применения докалибровки, бороться с накоплением дрифта из-за систематических вычислительных ошибок.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

* Пишете на Python и С++
* Знаете классические алгоритмы и структуры данных
* Готовы разбираться в сложной предметной области
* Настраивали облачные пайплайны обработки данных

* Работали с высоконагруженными системами обработки больших данных
* Знакомы с инфраструктурой Яндекса: YT, YQL, Nirvana, Monium

Обязанности

• Разработка и поддержка сетевого ПО для ASIC собственной разработки
• Разработка библиотеки управления и настройки ASIC на базе проекта Switch Abstraction Interface (SAI)
• Оптимизация времени обращения к DataPlane, обработки таблиц (Forwarding tables, ACL, VLAN, VXLAN)
• Разработка механизмов мониторинга состояния оборудования и обработки ошибок (Error Handling)
• Предоставление обратной связи архитекторам ASIC
• Написание функциональных, Unit-тестов и проведение интеграционного тестирования

Требования

• Глубокие знания C/C++
• Опыт работы с Python
• Опыт работы с сетевыми технологиями: понимание стека L2/L3 (Ethernet, VLAN, IP, ARP, STP, BGP, OSPF), MPLS, L2VPN, L3VPN.
• Знание сетевого оборудования: понимание того, как работают коммутаторы, маршрутизаторы (Pipeline, TCAM, MAC tables, Routing tables, Packet buffer).
• Опыт работы с Linux
• Умение работать с отладчиками: GDB, Valgrind, анализаторы трафика (Wireshark/tcpdump).
• Понимание жизненного цикла разработки: Git, CI/CD.

Будет плюсом:

• Опыт работы с FRR, SONiC или подобным ПО.
• Опыт работы с конкретными SDK (Broadcom SDK, Mellanox SDK и т.д.).
• Опыт разработки драйверов или работы с FPGA/ASIC.

Условия

• Участие в передовых проектах в отрасли микро- и радиоэлектроники, телекоммуникаций и связи;
• Работу в команде лучших специалистов отрасли, с возможностью делиться знаниями и перенимать опыт, решая сложные инженерные задачи, на передовом краю развития современных технологий;
• Систему поощрения за создание результатов инновационной деятельности, регистрация патентов;
• Применение результатов работы в подготовке квалификационных работ в магистратуре и аспирантуре. Поддержка научно-технического совета в подготовке статей, публикаций, работ;
• Широкие возможности профессионального роста;
• Гибкий график работы (возможность выбора начала и окончания рабочего дня);
• Полис ДМС (включающий стоматологию, возможность подключения родственников и членов семьи, страховку выезжающих за рубеж, телемедицину, онлайн-консультации юриста и психолога);
• Материальную помощь к значимым событиям и сложным жизненным ситуациям;
• Сервис с предложениями о корпоративных скидках и привилегиях от партнеров (900+), который помогает значительно экономить на ежедневных тратах;
• У нас дружественная атмосфера и активная корпоративная жизнь. В Компании есть команды по: легкой атлетике, баскетболу, шахматам, настольному теннису и плаванию, лыжам и киберспорту. Спортсмены нашей Компании принимают участие в различных соревнованиях и турнирах. Для футбольной и волейбольной команды предоставляются спортивные площадки
• Реферальную программу;
• Комфортный офис с вендинговыми аппаратами, комнатой отдыха, на территории есть кафе/столовая;
• Мы ценим ваш опыт и компетенции, поэтому уровень дохода обсуждаем с успешными кандидатами.