СБЕР

ML-инженер (AI Quality / Evaluation) в команду GigaChat (Python)

Мы развиваем GigaChat и ищем сильного ML-инженера в команду AI Quality. Наша команда — это главный навигатор развития модели. Мы не просто тестируем сборки, мы исследуем новые возможности GigaChat, сопоставляем его работу с реальными проду…

СБЕР

↑ Вакансия с автоподнятием
350k–600k ₽РоссияУдалёнка

Мы развиваем GigaChat и ищем сильного ML-инженера в команду AI Quality. Наша команда — это главный навигатор развития модели. Мы не просто тестируем сборки, мы исследуем новые возможности GigaChat, сопоставляем его работу с реальными продуктовыми требованиями и находим точки для кратного роста качества. Публичные бенчмарки покрывают далеко не всё и часто оторваны от жизни, поэтому мы строим собственную инфраструктуру замеров, которая честно показывает, как модель решает настоящие задачи пользователей.

Это роль для человека, который возьмёт на себя ответственность за сквозной цикл оценки: от ресёрча ландшафта и проектирования датасетов под продуктовые вызовы до написания надёжного кода и внедрения бенчмарка в общий харнесс. Ищем не столько исполнителя, собирающий дашборды, сколько мотивированного инженера-исследователя. Тот, кто глубоко понимает, что нужно продукту, замечает узкие места именного базового качества модели, вспоминает актуальную статью с подходящим методом оценки и приходит с готовым планом: «давайте замерим вот так, потому что именно это покажет наш реальный прогресс».

Чем предстоит заниматься

Развивать инфраструктуру и пайплайны замеров (Evaluation Harness).

  • Реализовывать и поддерживать бенчмарки: парсинг датасетов, промпт-шаблоны, постпроцессинг ответов, подсчёт метрик.
  • Обеспечивать железобетонную воспроизводимость: версионирование конфигов, CI-интеграция. Любой замер должен выдавать идентичный результат и сегодня, и через полгода.
  • Разбирать статьи и репозитории новых бенчмарков, понимать их методологию и встраивать в наш пайплайн с автоматическим запуском.

Строить и масштабировать LLM-as-a-Judge.

  • Развивать пайплайны моделей-судей: глубокий промпт-инжиниринг, калибровка, контроль смещений (bias), оценка консистентности и сравнение судей между собой.
  • Проектировать, настраивать и автоматизировать arena-style оценки.

Создавать целевые датасеты и анализировать данные.

  • Проектировать новые арены и тестовые наборы под конкретные слабые места модели и проверяемые гипотезы.
  • Вытаскивать сигналы о деградациях из пользовательских логов, собирать промпты, следить за актуальностью и контаминацией существующих датасетов.
  • Проводить аналитику и быстро писать скрипты для ответа на вопрос: «почему просела метрика и что именно сломалось».

Проводить research и влиять на релизы.

  • Самостоятельно отслеживать state-of-the-art в области evaluation, инициировать внедрение лучших подходов — не дожидаясь постановки задачи сверху.
  • Готовить аналитические отчёты по замерам, формулировать жёсткие go/no-go рекомендации и аргументированно отстаивать их перед командой pretrain/post-train.

Для нас важно

  • Уверенный Python и инженерная культура: код ревьюится, тестируется и не гниёт. Уверенное владение Git, CI/CD, Bash на уровне самостоятельной поддержки сервисов. Использование AI-ассистентов и знание best practices горячо приветствуются.
  • Глубокое понимание устройства LLM: не на уровне обзоров, а на практике. Вы знаете, что такое chat template, почему ризонеры могут давать разные результаты при нулевой температуре, и почему один и тот же бенчмарк можно замерить тремя способами, получив три разных числа. Практический опыт инференса open-source моделей (vLLM, SGLang).
  • Насмотренность и инициативность: вы умеете не просто следить за потоком статей, но в нужный момент вытащить из памяти релевантный подход, связать его с текущей задачей и конвертировать в конкретный план действий.
  • Базовая статистическая грамотность: доверительные интервалы, bootstrap, чёткое понимание того, когда разница в метрике статистически значима, а когда — это просто шум.

Будет плюсом

  • Опыт работы с evaluation-фреймворками (lm-evaluation-harness, HELM, BigCode Evaluation) или написания собственных харнессов.
  • Опыт с LLM-judge подходами и глубокое знакомство с профильной литературой (MT-Bench, AlpacaEval, Chatbot Arena).
  • Публикации или заметный open-source вклад в области evaluation.

Что предлагаем

  • Сильные и сложные задачи на переднем крае развития русскоязычных LLM.
  • Огромную степень влияния на продукт: от ваших метрик и рекомендаций зависит, пойдет ли флагманская модель в релиз.
  • Команду сильных инженеров и исследователей, задающих высокую планку инженерной надёжности.
  • Конкурентную компенсацию, премии и расширенный соцпакет.

Похожие вакансии Data Science & ML

Другие площадки
альфа-банк

Data Scientist (Антифрод)

альфа-банкАвтоподнятие
250k–400k ₽РоссияМоскваУдалёнка

Мы занимаемся развитием платформы интеллектуального управления безопасностью финансовых потоков. Наши ML-решения в реальном времени оценивают транзакции на предмет мошенничества, комплаенс-рисков и других нежелательных действий. В работе мы применяем продвинутые методы машинного обучения, прикладной математики и статистики. Исследуем новые данные, проверяем различные ML-гипотезы и постоянно ищем возможности значимо улучшить существующие решения. Сейчас мы расширяем команду и ищем DS-специалистов уровня Middle и Senior.

Обязанности:

  • Погружаться в бизнес-контекст платформы ограничений, изучать доступные данные и существующую инфраструктуру — высоконагруженные сервисы, обрабатывающие миллионы транзакций в день.
  • Анализировать текущие бизнес-процессы, выявлять их уязвимые места и точки роста.
  • Пробовать различные подходы машинного обучения: классификацию, кластеризацию, uplift-модели, ранжирующие модели и нейросетевые решения (частично или полностью).
  • Сравнивать результаты экспериментальных моделей с текущим решением, оценивая их преимущества и недостатки.
  • Валидировать модели с помощью офлайн-метрик (AUC, PR-кривые, NDCG, uplift-метрики и др.), убеждаться в статистически значимом приросте точности.
  • Подготавливать аналитическую статью или отчёт, в котором будет подробно сравниваться каждый метод и обосновываться выбор оптимального решения.
  • Запускать в продакшн лучшее из протестированных решений, обеспечивая его интеграцию в существующую систему управления ограничениями.


Требования:

  • Высшее техническое образование.
  • Опыт работы в DS от 2 лет. Опыт вывода моделей в прод.
  • Уверенный Python, продвинутый SQL, PySpark как плюс.
  • Большой опыт в решении задач классического ML: бустинги, регрессия, ранжирование, классификация.
  • Статистика, A/B тесты, знание основ оптимизации, понимание принципов работы используемых методов.
  • Умение презентовать результат сложных решений понятным бизнесу языком, проактивность в поиске точек роста и генерации новых идей.


Условия:

  • Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI.
  • Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде.
  • Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи.
  • Сложные и интересные задачи, современный стек технологий.
  • Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного.
  • Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни.
  • Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр.
  • Доступ к бесплатным корпоративным библиотекам Alpina Digital, МИФ и бизнес-изданий.
  • Работа у трижды лучшего работодателя РФ по версии hh.ru, Forbes, РБК.
  • Программа развития AI-грамотности: треки по работе с нейросетями от базового до продвинутого уровня.
Другие площадки
мкб

Главный разработчик моделей (ПВР)

мкбАвтоподнятие
Зарплата не указанаРоссияМоскваГибрид

Обязанности:

  • Построение моделей высокого качества (например, розничные, корпоративные модели, бизнес-модели и ПВР).
  • Написание документации по результату построения моделей.
  • Прохождение валидации моделей.
  • Участие во встречах с заказчиком моделей.
  • Написание требований на реализацию и тестирование витрин данных.
  • Участие в оптимизации процесса разработки моделей.

Требования:

  • Высшее образование
  • Аналогичный опыт работы от 3-х лет
  • Опыт в построении моделей (логистическая регрессия, бустинг), розничных моделей ПВР в банке является преимуществом
  • Опыт участия в постановке требований на витрины, аналитику, мониторинг
  • Опыт разработки моделей на Python, SAS (знание необходимых библиотек)
  • Знание SQL
Другие площадки
СБЕР

Senior Deep Learning Engineer (Speech / Audio Foundation Models)

СБЕРАвтоподнятие
Зарплата не указанаРоссияМоскваОфис

Мы ищем сильного Deep Learning-инженера для развития и вывода на принципиально новый уровень GigaAM — лучшей open-source-модели для распознавания речи на русском языке.

GigaAM — это не только исследовательский проект, но и core-модель, которая определяет качество работы многих ключевых продуктов экосистемы: GigaChat Audio, ASR, TTS, GigaChat Video и других.

Сейчас мы стоим перед масштабным вызовом: кратное увеличение параметров модели, масштабирование данных на несколько порядков, расширение языкового покрытия и выход за рамки распознавания речи в сторону general audio understanding. Если вы хотите создавать state-of-the-art-решения, которыми будут пользоваться миллионы, и вносить вклад в развитие мирового open-source — нам по пути!

Первый этап отбора на эту вакансию — общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Обязанности

  • Масштабирование данных: увеличение объемов данных для обучения на несколько порядков, построение эффективных пайплайнов, их фильтрации и подготовки.
  • Развитие архитектуры и метода предобучения: улучшение мультиязычных свойств модели и расширение её возможностей в сторону анализа аудио-неречевой природы.
  • Scaling laws: масштабирование модели по количеству параметров в несколько раз.
  • Research & Engineering: стабилизация процессов предобучения, проведение ML-экспериментов, проверка гипотез и доведение результатов до прода и публикаций.

Требования

  • Уверенное владение Python и PyTorch.
  • Distributed Training: практический опыт распределенного обучения, понимание ограничений и принципов работы под капотом (DDP, FSDP, ZeRO).
  • Опыт оптимизации DL-пайплайнов: профилирование и оптимизация узких инфраструктурных мест в процессе обучения (I/O bottlenecks, memory management, GPU utilization).
  • Экспертиза в Speech/Audio: понимание современных подходов и state-of-the-art-архитектур в Speech/Audio Self-Supervised Learning.

Условия

  • крупнейшее DS&AI community — более 600 DS-специалистов банка.
  • дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира.
  • возможность быть соавтором НИРов и статей для международных конференций.
  • возможность выбрать удобный формат работы: гибрид или офис.
  • ежегодный пересмотр зарплаты, годовая премия.
  • корпоративный спортзал и зоны отдыха.
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
  • ипотека выгоднее до 7% для каждого сотрудника.
  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.
  • вознаграждение за рекомендацию друзей в команду Сбера.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.