СБЕР

Руководитель направления ML Pretrain Multimodal LLM

Мы развиваем GigaChat и ищем сильного руководителя направления ML pretrain больших языковых моделей. Недавно мы обучили MoE-модель на 700 миллиардов параметров и не собираемся останавливаться — обучение идёт на кластерах H100 и B200, а pre…

СБЕР

↑ Вакансия с автоподнятием
Зарплата не указанаРоссияМосква

Мы развиваем GigaChat и ищем сильного руководителя направления ML pretrain больших языковых моделей. Недавно мы обучили MoE-модель на 700 миллиардов параметров и не собираемся останавливаться — обучение идёт на кластерах H100 и B200, а pretrain является ядром самого быстрорастущего AI-проекта Сбера.

Это роль для человека, который возьмёт на себя архитектурную часть pretrain: design моделей, законы масштабирования, выбор и адаптация attention / MoE / позиционных схем, а также все архитектурные решения, которые определяют, какой именно будет следующая флагманская модель GigaChat.Нам нужен не просто менеджер, а сильный технический руководитель, который способен глубоко погружаться в детали, самостоятельно собирать ключевые части решения и доводить архитектурные идеи до реального роста качества модели на масштабе.

  • Развивать архитектуру моделей GigaChat

  • Определять, как должна развиваться архитектура pretrain-моделей: какие направления наиболее важны, как измерять прогресс и что в первую очередь ограничивает рост качества модели.

  • Проектировать архитектуру флагманских моделей и отвечать за ключевые архитектурные решения: attention, позиционные схемы (RoPE и варианты), нормализации, активации, инициализация.

  • Развивать MoE-архитектуру: маршрутизация, балансировка экспертов, устойчивость маршрутизатора, влияние на качество и производительность.

  • Работать с long-context и мультимодальностью на уровне архитектуры: что именно нужно менять в модели, чтобы эти возможности работали стабильно.

  • Изучать и применять законы масштабирования

  • Проводить scaling-эксперименты и на их основе принимать решения по размеру модели, ширине / глубине, числу и размеру экспертов, размерам батча и длительности обучения.

  • Предсказывать, как архитектурные изменения поведут себя при переходе с небольших абляций на полный масштаб.

  • Определять и развивать метрики, которые корректно отражают архитектурные изменения в обучении моделей.

  • Определять, в каких случаях архитектурные изменения действительно дают прирост качества по сравнению с более простыми baseline'ами, а в каких — нет.

  • Анализировать стабильность архитектурных решений

  • Разбираться с нестабильностью на больших прогонах со стороны архитектуры: почему конкретная конфигурация расходится, где проявляются артефакты маршрутизации, коллапс энтропии, неустойчивости в attention.

  • Предлагать изменения в нормализациях, клиппинге, точности вычислений и структуре блоков, которые делают обучение более предсказуемым.

  • Обеспечивать безопасное масштабирование при внедрении крупных архитектурных изменений в основной трейн.

  • Писать ключевой код и оставаться сильным исследователем

  • Самостоятельно писать и дорабатывать архитектурные компоненты и абляции.

  • Делать надёжные и воспроизводимые эксперименты: понятные версии данных, конфиги, сравнение запусков, контроль деградаций.

  • Читать статьи, воспроизводить ключевые результаты и адаптировать лучшие идеи под наши задачи и инфраструктуру.

  • Оставаться сильным инженером и исследователем, а не только руководителем: при необходимости самому разбирать узкие места в коде, экспериментах и настройках обучения.

  • Руководить сильной технической командой

  • Руководить командой исследователей и инженеров, работающих над архитектурой, задавать высокую планку по качеству решений, скорости работы и глубине проработки.

  • Помогать команде превращать архитектурные идеи в работающие решения, которые можно встроить в основной цикл обучения.

  • Удерживать баланс между глубиной исследований, инженерной надёжностью и практическим результатом для модели.

  • Отличное владение Python и PyTorch.

  • Глубокое понимание устройства обучения нейросетей: не на уровне обзоров, а на уровне, где вы можете объяснить, почему конкретная архитектурная конфигурация расходится, глядя на кривые функции потерь, нормы градиентов и энтропии.

  • Глубокое понимание архитектуры LLM: Transformer, attention (MHA/GQA/MLA), RoPE и варианты позиционных эмбеддингов, нормализации, инициализации, long-context, MoE.

  • Практический опыт с обучением больших моделей (а не только инференсом) и проведением архитектурных абляций.

  • Способность самостоятельно взять направление и довести его до результата: от чтения статей и постановки гипотез до внедрения в основной трейн.

  • Умение ставить гипотезы, проектировать эксперименты и принимать решения на основе результатов.

  • Опыт руководства сильной технической командой и готовность лично писать важные части системы руками.

Будет плюсом

  • Опыт работы с MoE-архитектурами: маршрутизатор, балансировка нагрузки, переполнение, артефакты маршрутизации.

  • Опыт проведения scaling-экспериментов и работы с законами масштабирования.

  • Опыт работы с long-context и мультимодальными расширениями LLM.

  • Опыт работы с distributed training (5D-параллелизм: DP/TP/PP/EP/SP) и large-scale инференсом.

  • Публикации, open-source вклад или сильный прикладной research track record.

  • Понимание современных open-source стеков для обучения больших языковых моделей.

  • Сильные и сложные задачи на переднем крае развития русскоязычных LLM.

  • Большую степень влияния на архитектуру решений, методы обучения и качество итоговой модели.

  • Команду сильных инженеров и исследователей.

  • Возможность совмещать управление направлением с глубокой технической работой.

  • Конкурентную компенсацию, премии и расширенный соцпакет.

Эта вакансия также есть на:hh.ru

Похожие вакансии Data Science & ML

Сайты компаний
Зарплата не указанаРоссияМосква

Привет! Это группа моделирования и оптимизации складских процессов.

Для повышения эффективности на складах и прогнозирования эффекта от внедряемых разработок возникает потребность в создании новых алгоритмов, прототипировании и исследованиях. Этим занимается наша RnD команда.
Больше о нашей команде: https://habr.com/ru/companies/ozontech/articles/904044

Ты будешь

  • Работать с данными, погружаться в складские процессы

  • Заниматься построением математических моделей.

  • Разрабатывать алгоритмы по увеличению эффективности работы склада и поиск точек роста.

Нам важно

  • Обучение на технической специальности бакалавриата, магистратуры или специалитета в настоящий момент.

  • Уверенное знание Python и SQL.

  • Опыт анализа качества данных и моделей.

  • Знания математической статистики.

  • Знания теоретических основ дискретной оптимизации.

hh.ru
usetech

Ведущий Data Scientist / ML инженер

usetech
Зарплата не указанаРоссияМоскваУдалёнка

Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.

ГК Юзтех является технологическим партнером таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, Go Invest, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет Девелопмент, Х5 Group, Газпромнефть, Лемана Про, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные IT-продукты (Usebus, Octopus, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.

Мы ищем Data Scientis на проект развития модели прогнозирования оттока клиентских менеджеров среднего бизнеса: от постановки задачи до внедрения в бизнес-процессы и оценки реального эффекта.

Это роль на стыке DS, HR и бизнеса: ваши прогнозы будут напрямую влиять на решения по удержанию сотрудников, а не оставаться «моделью в ноутбуке».

Чем предстоит заниматься

  • Разрабатывать и развивать модель прогнозирования оттока клиентских менеджеров среднего бизнеса — от постановки задачи до внедрения и оценки бизнес-эффекта.
  • Исследовать данные, формировать и проверять гипотезы, добавлять новые признаки для повышения качества модели.
  • Проводить эксперименты, выбирать подходы к моделированию, оценивать результаты через ML-метрики и бизнес-показатели.
  • Обеспечивать деплой модели совместно с командой разработки, выстраивать воспроизводимые пайплайны подготовки данных, обучения и расчёта прогнозов.
  • Встраивать прогнозы в бизнес-процессы: вместе с заказчиками определять сценарии использования, пороги риска и действия по удержанию сотрудников.
  • Настраивать мониторинг качества данных, стабильности признаков и качества прогнозов, организовывать переобучение и улучшение модели.
  • Взаимодействовать с HR, руководителями бизнеса, аналитиками и разработчиками — объяснять результаты и ограничения модели.
  • Использовать AI-ассистентов для ускорения разработки, исследований и документирования решений.

Что мы ожидаем

  • Опыт работы в Data Science от 2–3 лет.
  • Уверенное владение Python, SQL, Spark и классическим ML-стеком.
  • Практический опыт разработки и внедрения ML-моделей в production.
  • Навыки подготовки данных и разработки признаков, работы с дисбалансом классов, временной валидацией и предотвращением утечек данных.
  • Понимание полного жизненного цикла ML-решения: обучение, деплой, мониторинг, переобучение и сопровождение.
  • Умение самостоятельно структурировать задачу, выбирать метрики качества и доводить решение до использования в бизнесе.
  • Способность объяснять прогнозы и ограничения модели, связывать качество решения с бизнес-эффектом.
  • Умение работать на стыке DS, HR и бизнеса, договариваться о требованиях и критериях успеха.

Будет преимуществом

  • Опыт решения задач прогнозирования оттока (churn prediction).
  • Опыт работы с HR-данными или people-аналитикой.
  • Опыт построения воспроизводимых пайплайнов и работы с ML-инфраструктурой.

Мы предлагаем:

  • Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании
  • Расширенный полис ДМС со стоматологией, корпоративный психолог
  • Удаленную работу и гибкий график
  • Необходимую технику для комфортной работы
  • Обучение, сертификацию, Usetech English Club – онлайн изучение английского
  • Доступ к Корпоративной библиотеке и к Корпоративному университету
  • Внутрикорпоративные профильные коммьюнити
  • Заботу о детях сотрудников: корпоративные скидки, подарки, детские дни
  • Геймифицированную программу лояльности: поверь, ты будешь восторге от нашего корпоративного магазина!
  • Корпоративную жизнь: мы много работаем и классно отдыхаем.
hh.ru
северсталь. it & digital

AI/ML-инженер

северсталь. it & digitalАвтоподнятие
Зарплата не указанаРоссияМоскваУдалёнка

Чем Вы будете заниматься:

  • подготавливать датасеты для обучения и оценки ML-моделей;
  • обучать, дообучать и улучшать модели, проводить эксперименты с различными подходами;
  • разрабатывать алгоритмы для задач поиска, классификации, matching и ranking;
  • работать с embedding-моделями и LLM;
  • решать задачи сопоставления товарных данных: товары и предложения, аналоги, категории, семантический поиск;
  • оценивать качество существующих алгоритмов и находить способы их улучшения;
  • реализовывать ML-решения на Python, интегрировать модели в сервисы и участвовать в выводе в production;
  • работать с потоками данных и Kafka;
  • мониторить качество и производительность моделей после запуска, оптимизировать существующие решения;
  • исследовать новые ML/LLM-подходы, проводить PoC и внедрять успешные решения в production.

Мы ожидаем, что Вы:

  • работаете в сфере ML/AI от 2 лет;
  • уверенно пишете на Python;
  • разрабатываете production-ready код;
  • обучаете и дообучаете ML-модели;
  • подготавливаете датасеты и проводите ML-эксперименты;
  • оцениваете качество моделей и понимаете основные ML-метрики;
  • работаете с LLM и/или embedding-моделями;
  • решаете задачи классификации, поиска, matching и ranking;
  • быстро разбираетесь в новых моделях, подходах и библиотеках;
  • выводите ML-решения в production.

Будет плюсом:

  • опыт работы с NLP;
  • опыт работы с semantic search/vector search;
  • знание подходов bi-encoder, cross-encoder, reranking;
  • опыт работы с Hugging Face и PyTorch;
  • опыт fine-tuning LLM или embedding-моделей;
  • опыт работы с большими каталогами товаров, в e-commerce или marketplace;
  • опыт работы с Kafka и Docker;
  • опыт оптимизации inference и работы с GPU;
  • опыт построения систем мониторинга качества ML-моделей;
  • знание SQL.

Мы предлагаем:

  • работу в небольшой команде с высоким влиянием на технические решения;
  • реальные production-задачи и возможность доводить решения до внедрения;
  • возможность работать с LLM, embeddings, search и matching;
  • задачи на стыке ML, backend и data;
  • возможность видеть результат своей работы в продукте;
  • участие в выборе и развитии ML-подходов внутри направления;
  • тесное взаимодействие с разработчиками, аналитиками и Product/Project Manager;
  • удалённый формат работы.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.