MLE Руководитель направления RL Efficiency (Lead)
Мы развиваем GigaChat и ищем сильного руководителя направления RL Efficiency. Это роль для человека, который возьмёт на себя эффективность всего RL-контура: обучающий цикл, rollout, reward-сигналы, взаимодействие с инференсом и инфраструкт…
сбер · На сервисе с: 30.06.26 09:06
↑ Вакансия с автоподнятиемМы развиваем GigaChat и ищем сильного руководителя направления RL Efficiency. Это роль для человека, который возьмёт на себя эффективность всего RL-контура: обучающий цикл, rollout, reward-сигналы, взаимодействие с инференсом и инфраструктура под онлайн-эксперименты.
Цель направления — сделать так, чтобы online RL / RLHF / RLVR-обучение GigaChat было максимально быстрым, стабильным и дешёвым: сократить time-to-feedback по экспериментам, поднять утилизацию кластера и упростить запуск новых RL-рецептов на масштабе.
Нам нужен не просто менеджер, а сильный технический руководитель, способный глубоко погружаться в детали, самостоятельно собирать ключевые части решения и доводить идеи до реального ускорения RL-пайплайна.
Чем предстоит заниматься
Развивать направление RL Efficiency целиком
-
Определять, как должно развиваться направление эффективности RL: какие места критичны на данный момент, как измерять прогресс и что в первую очередь ограничивает скорость экспериментов.
-
Вести направление целиком: от постановки гипотез и плана работ до внедрения результатов в регулярный цикл обучения.
-
Принимать решения о приоритетах между ускорением rollout, оптимизацией обучающего цикла, инфраструктурой и системой оценки качества.
Ускорять цикл online RL
-
Оптимизировать пайплайн online RL: генерация rollout'ов, сбор reward-сигналов, обновление весов модели, overlap-этапов.
-
Выстраивать эффективное взаимодействие между обучающим контуром и инференс-движком (vLLM / SGLang / собственные решения), добиваясь высокой утилизации и низкой задержки.
-
Работать с весами и KV-cache: быстрое обновление весов между итерациями, снижение overhead-синхронизаций, оптимизация памяти.
-
Повышать стабильность больших RL-прогонов: контроль деградаций, автоматическое восстановление, диагностика сбоев.
Развивать инфраструктуру под RL-эксперименты
-
Развивать фреймворк обучения, поддерживающий RLHF / RLVR / PPO / GRPO / DPO и их вариации на масштабе.
-
Делать так, чтобы новые RL-рецепты можно было быстро и безопасно запускать на больших моделях без ручной поддержки для каждого эксперимента.
-
Обеспечивать воспроизводимость RL-экспериментов: версионирование данных, конфигов, чекпоинтов, reward-моделей.
Писать ключевой код и оставаться сильным инженером
-
Самостоятельно писать и дорабатывать критичные части RL-пайплайна.
-
Профилировать обучение на всех уровнях стека и находить узкие места в rollout, обучении и коммуникациях.
-
Оставаться сильным инженером и исследователем, а не только руководителем: при необходимости самому разбирать узкие места в коде, экспериментах и взаимодействии с hardware.
Руководить сильной технической командой
-
Руководить командой инженеров по эффективности RL, задавать высокую планку по качеству решений и перфу.
-
Помогать команде превращать исследовательские идеи в работающие решения, которые можно встроить в основной цикл RL-обучения.
-
Удерживать баланс между глубиной оптимизаций, инженерной надёжностью и практическим результатом для модели.
Для нас важно
-
Отличное владение Python и PyTorch (DDP/FSDP, distributed training).
-
Практический опыт с обучением LLM и понимание механики RL post-training: RLHF, RLVR, PPO / GRPO / DPO.
-
Опыт оптимизации обучения и инференса LLM: профилирование, узкие места, параллелизм, mixed precision.
-
Понимание архитектуры LLM: Transformer, attention (MHA/GQA/MLA), MoE и их влияние на rollout.
-
Способность самостоятельно взять направление и довести его до результата: от постановки задач до внедрения в продакшн-RL.
-
Опыт руководства сильной технической командой и готовность лично писать важные части системы руками.
Будет плюсом
-
Опыт работы с современными RL-стэками: verl, TRL или собственные решения.
-
Опыт работы с large-scale inference (vLLM, SGLang, TRT-LLM) и оптимизацией генерации.
-
Опыт написания CUDA / Triton ядер и понимание особенностей NVIDIA GPU.
-
Понимание коммуникационного стека больших обучений: NCCL, NVSHMEM, RDMA/IB.
-
Опыт работы с кластерными системами: Slurm, Kubernetes, Ray или собственные оркестраторы.
-
Публикации, open-source вклад или сильный прикладной research track record.
Что предлагаем
-
Сильные и сложные задачи на переднем крае развития русскоязычных LLM.
-
Большую степень влияния на архитектуру решений, методы обучения и качество итоговой модели.
-
Команду сильных инженеров и исследователей.
-
Возможность совмещать управление направлением с глубокой технической работой.
-
Конкурентную компенсацию, премии и расширенный соцпакет.
Похожие вакансии Data Science & ML
Управление Модельных Рисков - «by-design» уникальное подразделение, которое «видит» все AI/ML модели Банка, понимает процессы/точки принятия решений моделями, кривая обучения у наших сотрудников «круче», чем в подразделениях, разрабатывающих модели.
Наша цель – помочь Банку зарабатывать больше и улучшать клиентский опыт за счет повышения эффективности моделей и их использования в Бизнес процессах.
Мы ищем DS/Quant с экспертизой на стыке финансовой математики, торговых алгоритмов и ML для работы в напралении Модельного Риска Торговой Книги. Вы будете выступать ключевым звеном контроля качества моделей и агентов, используемых в оценке рисков и ценообразовании финансовых инструментов.
Обязанности
- оценка качества моделей ClassicML, работающих на финансовых рынках, в том числе: торговые алгоритмы, оценка эластичности по цене, кластеризация клиентов и т.д.
- проведение независимой оценки качества моделей прайсинга финансовых инструментов, а также риск-моделей (включая VaR, CVA, PFE)
- анализ корректности математических предпосылок, устойчивости моделей и их соответствия бизнес-требованиям и рыночным условиям
- оценка и контроль рисков агентов, работающих в торговых алгоритмах, процессах прайсинга финансовых инструментов и оценки рыночных рисков
- создание инструментов для автоматизации процессов мониторинга моделей и агентов с использованием Python
- подготовка аналитических заключений по результатам валидации, формирование рекомендаций по доработке моделей
- презентация результатов работы, аргументация выводов и защита предложенных решений перед разработчиками моделей, риск-менеджментом и бизнес-заказчиками.
Будет плюсом:
- навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.
Требования
- знание теории вероятностей, математической статистики и случайных процессов
- опыт работы на стороне разработки или валидации ClassicML моделей
- уверенные навыки программирования на Python, опыт разработки структурированного и поддерживаемого кода
- знание базовых принципов построения моделей прайсинга производных финансовых инструментов
- опыт работы с количественными моделями в финансах или смежных областях будет преимуществом
- участие в летних школах или курсах: Vega, ЦМФ – также является преимуществом.
Условия
- работа в удобном и современном офисе недалеко от станции метро Кутузовская
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.