СБЕР

Senior Research Engineer (LLM Pretraining)

Мы занимаемся pretrain'ом больших языковых моделей в GigaChat: проектируем архитектуру, подбираем рецепт обучения и поддерживаем весь инженерный контур вокруг него.

СБЕР

↑ Вакансия с автоподнятием
Зарплата не указанаРоссияМосква

Мы занимаемся pretrain'ом больших языковых моделей в GigaChat: проектируем архитектуру, подбираем рецепт обучения и поддерживаем весь инженерный контур вокруг него.

Недавно мы обучили MoE-модель на 700 миллиардов параметров — и на этом не собираемся останавливаться. Обучение идёт на кластерах H100 и B200. GigaChat — самый быстрорастущий проект Сбера, и pretrain — его ядро.

Чем занимается команда

  • Архитектура и законы масштабирования.
  • Рецепт обучения: оптимизаторы, расписание learning rate, нормализация, точность вычислений.
  • Устойчивость больших прогонов и ускорение сходимости.
  • Диагностика обучения и оценка изменений с опорой на математический аппарат.
  • Инженерный контур: воспроизводимость, тесты, CI/CD.
  • Роль с акцентом на модель, оптимизацию и инфраструктуру обучения, а не на данные. Главная цель — делать обучение быстрее, надёжнее и предсказуемее.

Какие задачи стоят перед командой

  • Ускорение цикла «идея → эксперимент → вывод → внедрение».
  • Снижение количества ручных прогонов и неочевидных сбоев, повышение воспроизводимости и прозрачности результатов.
  • Повышение надёжности больших прогонов.
  • Ранняя диагностика деградаций и отделение реальных улучшений от ложных сигналов (расхождение, NaN, коллапс энтропии, артефакты маршрутизации, ложное снижение функции потерь).
  • Обеспечение безопасного масштабирования при внедрении крупных архитектурных изменений.
  • Анализ влияния сложных архитектур (например, mixture of experts и маршрутизация) на качество, стабильность и скорость обучения.
  • Определение и развитие метрик, корректно отражающих изменения в обучении моделей.

Почему мы

Масштаб - 700B MoE уже обучена, дальше — больше. Кластеры на H100 и B200.

Публикации. Можно и нужно писать статьи по результатам своей работы — это не ограничивается.

Команда - в России нет другой команды, которая занимается pretrain'ом на таком масштабе. Коллеги — люди, которые глубоко разбираются в теме.

Влияние. Вы берёте направление целиком. Это не «выполнять задачи из бэклога», а самостоятельно определять, что важно, и доводить до результата.

  • Взять на себя целое направление внутри pretrain'а и развивать его: от постановки задач и планирования экспериментов до внедрения результатов в основное обучение.

  • Проектировать и проводить эксперименты: формулировать гипотезы, запускать абляции, сравнивать подходы, разбираться в результатах и превращать выводы в решения для основного обучения.

  • Разбираться с нестабильностью на больших прогонах: искать причины деградаций, строить диагностические метрики, предлагать изменения в оптимизаторе, расписании lr, нормализациях, инициализации, клиппинге, точности вычислений и маршрутизации.

  • Работать с архитектурой смеси экспертов (MoE): маршрутизатор, балансировка нагрузки, переполнение, артефакты маршрутизации, влияние на качество и производительность.

  • Поддерживать большие прогоны и продолжения обучения с чекпоинтов: следить за дрейфом, проверять изменения в коде и конфигурации, снижать риск регрессий.

  • Улучшать инженерное качество контура обучения: ревью критичных изменений, стратегия тестирования, воспроизводимость экспериментов, профилирование и устранение узких мест.

  • Глубокое понимание устройства обучения нейросетей: не на уровне обзоров и пересказов, а на уровне, где вы можете объяснить, почему конкретный прогон расходится, глядя на кривые функции потерь, нормы градиентов и энтропии.

  • Способность самостоятельно взять направление и довести его до результата: от чтения статей и постановки гипотез до внедрения в основной трейн.

  • Практический опыт с PyTorch и именно с обучением моделей, а не только с инференсом.

  • Умение доводить исследовательские идеи до надёжного инженерного решения: воспроизводимость, конфиги, тесты, автоматизация, понятные критерии качества.

  • Хорошую инженерную культуру: аккуратные PR, профилирование, внимание к качеству кода, понятные отчёты об экспериментах.

Будет плюсом

  • Опыт со смешанной точностью и распределённым обучением.

  • Опыт построения систем оценки моделей или инфраструктуры для экспериментов.

  • Удалённо.

  • Возможность оформления в аккредитованную IT-компанию.

  • Годовая премия по итогам работы до 6 окладов.

  • Регулярный пересмотр зарплат.

  • Корпоративный спортзал и зоны отдыха.

  • Более 400 программ СберУниверситета для роста.

  • Программа адаптации и помощь руководителя на старте.

  • Крупнейшее DS&AI community — более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы.

  • Расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа.

  • Ипотека для сотрудников по дисконтной программе.

  • СберПрайм+ и скидки у партнёров.

  • Бонус за рекомендации в команду

Похожие вакансии Data Science & ML

Сайты компаний
Зарплата не указанаРоссияМосква

Привет! Это группа моделирования и оптимизации складских процессов.

Для повышения эффективности на складах и прогнозирования эффекта от внедряемых разработок возникает потребность в создании новых алгоритмов, прототипировании и исследованиях. Этим занимается наша RnD команда.
Больше о нашей команде: https://habr.com/ru/companies/ozontech/articles/904044

Ты будешь

  • Работать с данными, погружаться в складские процессы

  • Заниматься построением математических моделей.

  • Разрабатывать алгоритмы по увеличению эффективности работы склада и поиск точек роста.

Нам важно

  • Обучение на технической специальности бакалавриата, магистратуры или специалитета в настоящий момент.

  • Уверенное знание Python и SQL.

  • Опыт анализа качества данных и моделей.

  • Знания математической статистики.

  • Знания теоретических основ дискретной оптимизации.

hh.ru
Х

Senior AI/ML Engineer (LLM / GenAI / NLP)

хиди
200k–300k ₽РоссияМоскваГибрид

Внимательно пожалуйста читайте полностью описание вакансии, что бы можно было не тратить время у друга, так как зачастили моменты, когда люди не глядя ставят отклик и просто миллион заявок...

Из за большого наплыва - огромная просьба, лучше планируйте знакомство и собеседование приехав лично в офис, либо забронировав время созвона в онлайне.

Мы Крупный стартап, который разрабатывает очень большие Социальные Сети. Сейчас наш проект - это Спортивная Социальная сеть. Разработка Нативная: SWIFT KOTLIN GO. Мы активно используем для ускорения и многозадачности несколько основных Нейронок и очень ценим, когда хороший специалист знает как за счет них получить синергию. У нас своя AI Инфраструктура, Собственный набор AI Инструментов и Агентов.

Нам нужен очень опытный ML/AI Разработчик, который сможет по максимуму внедрить в наш проект нейронки, обучать их, улучшать и внедрять новые фишки и все это раскатить на наш собственный физический сервер Nvideo. Рассматриваем от 3-4 лет опыта, в действительности если человек является специалистом очень высокого уровня, а не как сейчас стало модным, что каждый второй посидел на форумах, посмотрел блогеров, что то сам с Claude Кодом потыкал и уже называет себя специалистом, к сожалению.... Без обид.

Мы ушли от привыкшего масс маркет обычного дизайна и минимализма и у нас более сложный и интересный дизайн. Мы внедрили в нашу работу сложную и большую Атомарную дизайн систему, с Токенами, мастер компонентами итд. Так же внутри Социальной сети разработана игра на Unity и более 30 Маскотов, которые являются отражением поведения и образа жизни пользователя.

Рассматриваем исключительно ребят на постоянную основу в команде именно в офис, или Гибрид. Удаленно НЕ берем. Медлительных, не готовых шустро выполнять свои задачи так же не готовы видеть в команде.

Офис находится на м. Динамо. Питание включено. Дружественный большой коллектив.

Общая команда более 40 человек.

Нам Важно: Чтобы вы были очень коммуникабельный и гибкий. Что бы вы осознавали всю ценность и сложность работы в Стартапе и отличие от обычной работе в Банке или Биг Тех. Стартап - это всегда горящие сроки, это переработка, это большее количество рабочих смен и времени, пока мы не выйдем в Продакшн.

Сейчас мы получаем к новому году IT Аккредитацию в Сколково, и до этого времени работа оплачивается исключительно наличными средствами 2 раза в месяц, каждого 12 и 27 числа. Если принципиально срочно надо, Можем оформить официально на партнерскую фирму, но ЗП будет ниже на 30%.

hh.ru
usetech

Ведущий Data Scientist / ML инженер

usetech
Зарплата не указанаРоссияМоскваУдалёнка

Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.

ГК Юзтех является технологическим партнером таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, Go Invest, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет Девелопмент, Х5 Group, Газпромнефть, Лемана Про, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные IT-продукты (Usebus, Octopus, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.

Мы ищем Data Scientis на проект развития модели прогнозирования оттока клиентских менеджеров среднего бизнеса: от постановки задачи до внедрения в бизнес-процессы и оценки реального эффекта.

Это роль на стыке DS, HR и бизнеса: ваши прогнозы будут напрямую влиять на решения по удержанию сотрудников, а не оставаться «моделью в ноутбуке».

Чем предстоит заниматься

  • Разрабатывать и развивать модель прогнозирования оттока клиентских менеджеров среднего бизнеса — от постановки задачи до внедрения и оценки бизнес-эффекта.
  • Исследовать данные, формировать и проверять гипотезы, добавлять новые признаки для повышения качества модели.
  • Проводить эксперименты, выбирать подходы к моделированию, оценивать результаты через ML-метрики и бизнес-показатели.
  • Обеспечивать деплой модели совместно с командой разработки, выстраивать воспроизводимые пайплайны подготовки данных, обучения и расчёта прогнозов.
  • Встраивать прогнозы в бизнес-процессы: вместе с заказчиками определять сценарии использования, пороги риска и действия по удержанию сотрудников.
  • Настраивать мониторинг качества данных, стабильности признаков и качества прогнозов, организовывать переобучение и улучшение модели.
  • Взаимодействовать с HR, руководителями бизнеса, аналитиками и разработчиками — объяснять результаты и ограничения модели.
  • Использовать AI-ассистентов для ускорения разработки, исследований и документирования решений.

Что мы ожидаем

  • Опыт работы в Data Science от 2–3 лет.
  • Уверенное владение Python, SQL, Spark и классическим ML-стеком.
  • Практический опыт разработки и внедрения ML-моделей в production.
  • Навыки подготовки данных и разработки признаков, работы с дисбалансом классов, временной валидацией и предотвращением утечек данных.
  • Понимание полного жизненного цикла ML-решения: обучение, деплой, мониторинг, переобучение и сопровождение.
  • Умение самостоятельно структурировать задачу, выбирать метрики качества и доводить решение до использования в бизнесе.
  • Способность объяснять прогнозы и ограничения модели, связывать качество решения с бизнес-эффектом.
  • Умение работать на стыке DS, HR и бизнеса, договариваться о требованиях и критериях успеха.

Будет преимуществом

  • Опыт решения задач прогнозирования оттока (churn prediction).
  • Опыт работы с HR-данными или people-аналитикой.
  • Опыт построения воспроизводимых пайплайнов и работы с ML-инфраструктурой.

Мы предлагаем:

  • Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании
  • Расширенный полис ДМС со стоматологией, корпоративный психолог
  • Удаленную работу и гибкий график
  • Необходимую технику для комфортной работы
  • Обучение, сертификацию, Usetech English Club – онлайн изучение английского
  • Доступ к Корпоративной библиотеке и к Корпоративному университету
  • Внутрикорпоративные профильные коммьюнити
  • Заботу о детях сотрудников: корпоративные скидки, подарки, детские дни
  • Геймифицированную программу лояльности: поверь, ты будешь восторге от нашего корпоративного магазина!
  • Корпоративную жизнь: мы много работаем и классно отдыхаем.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.