СБЕР

GenAI Evaluation Engineer (Риски) (Python)

Наша команда отвечает за независимую оценку и контроль качества генеративных моделей Банка.

СБЕР

↑ Вакансия с автоподнятием
Зарплата не указанаРоссияМоскваУдалёнка

Наша команда отвечает за независимую оценку и контроль качества генеративных моделей Банка.

Наша основная задача оценить флагманские генеративные модели Сбера – GigaChat, Kandinsky, GigaCode и PhysicalAI решений. Мы первыми видим, на что способна новая модель и проводим оценку новых возможностей прежде чем она выйдет к пользователям.

Мы не просто «проверяем метрики», а:

  • глубоко разбираемся в подходах команд-разработчиков и в бизнес-процессах, где работают модели
  • критически рассматриваем архитектурные и методологические решения и предлагаем улучшения
  • разрабатываем собственные проверки, метрики и бенчмарки и фреймворки для их запуска
  • проводим оценку логов пользователей для построения наиболее релевантного тестирования

Отдельный фокус – R&D деятельность:

  • создание новых методологий оценки качества
  • участие в разработке и развитии передовых банковских и российских бенчмарков (MERA, POLLUX и др.)
  • адаптация передовых мировых бенчмарков под специфику банковских кейсов
  • и многое другое

Эта роль про независимое измерение фундаментального качества модели: не про их обучение – этим занимается отдельная команда

Придумывать, как вообще измерить модель

ИИ стремительно развивается в мире и выходят новые модели и их виды, однако не всегда любая новая модель стала лучше предыдущей. Вам будет необходимо создать план по её проверке: что именно измерять, на какой выборке, с чем сравнивать, какая разница вообще будет считаться разницей в реальном качестве.

Отвечать за достоверность измерений

Полученные метрики не всегда отражают только лишь качество модели. Нужно уметь отделять реальный прирост качества от прочих факторов: ловить утечки данных в обучение, отличать дефект модели от дефекта замера, промпта или обвязки и проявлять тот же скепсис к собственной методологии: измеряем ли мы то, что заявили.

Разбираться в причинах ошибок

«Модель ошиблась» – это не вывод, а начало работы. Найденная вами причина той или иной проблемы модели превращается в рекомендацию команде разработки, а рекомендация – в следующую версию модели, которая этой ошибки уже не делает.

Строить автоматическую оценку

Разрабатывать LLM- и VLM-судей под конкретные задачи, разрабатывать с нуля собственные или дорабатывать существующие библиотеки валидации полного цикла и следим за фронтиром AI-исследований в области оценки моделей.

Строить то, чем пользуются другие

Фреймворки оценки, который вы развиваете – общие для команд по всему Банку. Бенчмарки, которые вы делаете, являются достоверной базой реального качества для разработчиков Банка и вне.

  • Умение проводить технический и научный ресерч: находить и критически разбирать актуальные статьи, бенчмарки, модели и реализации; переводить ресерч в конкретные идеи для тестирования и развития внутренних подходов.
  • Статистика и дизайн эксперимента: доверительные интервалы, размер выборки, проверка гипотез, поправки на множественные сравнения
  • Понимание современных AI-агентов и агентных систем: понимать, чем агент отличается от обычного вызова LLM; знать основные компоненты агентной системы: роли, инструменты, контекст, память и оркестрация;
  • Понимаете, как устроены генеративным модели изнутри: трансформер и механизм внимания, диффузии, токенизация, параметры генерации, этапы обучения
  • Опыт с генеративными моделями и понимание, как их оценивают: метрики, бенчмарки, human evaluation, Model-as-a-judge и его ограничения
  • Продуктовое мышление: связывать тестирование с реальными пользовательскими сценариями и понимать, какие ошибки критичны для продукта, понимать влияние результатов на релиз и дальнейшее развитие модели.
  • Python на продакшн-уровне: чистый код по PEP 8, ООП и типовые паттерны проектирования, аннотации типов, привычка к линтерам и статическому анализу (ruff, mypy). Создаете и поддерживаете production-код eval-пайплайнов, читаете и ревьюите чужой.

Будет плюсом: R&D-опыт или участие в создании бенчмарков; мультимодальные модели (изображения, видео, аудио); evaluation-фреймворки и harness; RAG; работа с асессорами; coding-агенты (Claude Code, Codex, Cursor); опыт работы с оркестрацией: LangGraph, OpenClaw, навыки вайбкодинга и AI-assisted coding

Стек: Python, pandas, NumPy, PyTorch, HuggingFace (transformers, datasets), vLLM, SGLang, инференс-API, S3, Git, Docker, CI/CD, Linux, Bash.

  • комфортный современный офис рядом с м. Кутузовская
  • гибкий формат и удаленной работы, в т.ч. на территории РФ
  • ежегодный пересмотр зарплаты и годовая премия
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
  • подписка Прайм с возможностью совместного использования на трёх близких
  • скидки на продукты компаний-партнеров
  • вознаграждение за рекомендацию друзей в команду Сбера.

Похожие вакансии Data Science & ML

hh.ru
Зарплата не указанаРоссияМоскваУдалёнка

Наша команда машинного обучения в поисках Senior ML Engineer в направлении контента.

Обязанности:

  • Анализ имеющихся контентных данных
  • Генерация гипотез для улучшения качества контетных задачи
  • Построение ML пайплайнов для контентных задач:
    • матчинг товаров и атрибутов
    • category prediction товара
    • генерация заголовков товара
  • Другие задачи для улучшения качества товаров на площадке Алиэкспресс
Требования:
  • Опыт промышленной разработки на Python от 3х лет
  • Опыт разворачивания своих МЛ пайплайнов в продакшен среду (airflow, dagster and etc)
  • Сильное аналитическое мышление и умение решать алгоритмические задачи
  • Хорошее понимание работы Deep NN transformers нейросетей и их опыт промышленного использования
  • Реальный опыт использования LLM для контетных задач
  • Понимание процесса multi-GPU обучения нейронных сетей.

Будет плюсом:

  • Понимание работы LLM и умение применять различные адаптеры к ним
  • Использование LLM для ускорения процесса разработки кода и дополнительной автоматизации
  • Опыт с RAG, spark, sql, backend inference, triton, vllm, llama-cpp, docker.
Условия:
  • Сильная команда, с которой можно расти
  • Работу в одной из крупнейших в России компаний в сфере e-commerce
  • Официальное оформление в аккредитованную IT-компанию
  • Конкурентоспособную заработную плату
  • Ноутбук Mac или Windows на ваш выбор
  • ДМС и страхование от несчастных случаев (со 100% страхованием детей).
hh.ru
Зарплата не указанаРоссияМоскваГибрид

MWS AI – это часть экосистемы МТС Web Services, где создаются AI-решения будущего. Голосовые ассистенты и чат-боты могут ответить на любой вопрос клиента, а компьютерное зрение - распознавать лица и эмоции. Мы объединили сильных разработчиков, самый мощный суперкомпьютер, и прорывные идеи, чтобы делать жизнь людей комфортнее и безопаснее и помогать бизнесу.

Ищем увлеченного профессионала, которому предстоит участвовать в исследованиях технологий синтеза речи, чтобы улучшать текущие решения и внедрять новые

Чем предстоит заниматься

  • Развивать LLM-based TTS: обучение, работа с речевыми токенизаторами и нейрокодеками.
  • Повышать естественность и точность синтеза: моделирование просодии и разговорной интонации, управление эмоциями и стилем через текстовый промпт, нормализация текста, расстановка ударений и произношение.
  • Клонирование голоса, включая zero-shot: тембр, манера речи, акцент.
  • Оптимизировать инференс: сокращать задержку ответа и ускорять синтез, в том числе в стриминговом режиме.
  • Проводить оценку качества по принятым в команде методикам: WER/CER, MOS/CMOS, внутренние бенчмарки.
  • Быстро проверять гипотезы и переносить работающее в наши модели.

Что для нас важно

  • Уверенный Python и PyTorch, опыт полного цикла обучения моделей: от подготовки данных до оценки качества.
  • Опыт с задачами речи или аудио: TTS, ASR, вокодеры, кодеки. Нет опыта именно в TTS, но есть сильный бэкграунд в смежном аудио - тоже рассмотрим.
  • Опыт с генеративными моделями: авторегрессионные модели, GAN, диффузия или flow matching. Понимание того, как устроены речевые токенизаторы и нейрокодеки.

Будет плюсом

  • Опыт с LLM-based TTS, нейрокодеками и речевыми токенизаторами (EnCodec, DAC; квантизация RVQ/FSQ) или вокодерами (HiFi-GAN, Vocos).
  • Опыт вывода моделей в продакшен и оптимизации инференса (архитектурно или под железо).
  • RL для генеративных моделей (DPO, GRPO и подобное), особенно применительно к TTS.
  • Опыт multi-GPU / multi-node обучения.
  • Работа с русской речью: ударения, нормализация текста, фонетика. Опыт с другими языками СНГ или мультиязычным TTS - тоже плюс.
  • Публикации или open-source проекты в области речи.

Что предлагаем:

  • Формат работы – гибрид
  • Комфортный офис в 10 минутах пешком от метро Таганская (Москва)
  • Медицинскую страховку с 1 месяца, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой

  • Компенсацию мобильной связи с первого дня
  • Участие во внешних IT конференциях и обучающих программах

  • Полезные курсы и вебинары в корпоративном университете и электронные библиотеки

  • Единую подписку МТС Premium — KION light в онлайн-кинотеатре KION, сервис МТС Music

  • Скидки и предложения от партнеров на фитнес, занятия английским и прочее

hh.ru
екапуста

Senior ML engineer / Data Scientist

екапуста
до 400k ₽РоссияМоскваУдалёнка

Ядро нашего бизнеса - онлайн-лендер еКапуста, основанный в России более 12 лет назад. За годы работы мы научились использовать тысячи параметров и десятки источников, чтобы при помощи машинного обучения за секунды оценивать кредитоспособность наших клиентов. Мы накопили много полезных знаний о поведении пользователей, которые дают нам возможность делать удобный и простой сервис для клиентов и противодействовать мошенникам.
Сегодня мы не только занимаем лидерские позиции на рынке в России, но и используем наши компетенции для запуска и развития бизнеса в других странах. Мы адаптируем наши продукты к местной специфике и ищем опытных аналитиков, готовых нам в этом помочь.

У нас много задач и каждый имеет возможность найти то, что ему по душе. Вот примеры того, чем занимаются аналитики в нашей команде:

- Скоринг и анализ источников данных (обучение ML-моделей, исследование новых источников и генерация фичей, контроль дрифта признаков во времени, поддержание и развитие скоринговой инфраструктуры).
- Продуктовая аналитика и анализ поведения пользователей (анализ пользовательского пути и жизненного цикла, выявление причин оттока и сегментация; улучшение конверсии и поиск неочевидных закономерностей; предложение новых гипотез и решений, основанных на данных).
- Оптимизация бизнес-модели (исследование прибыльности клиентов и анализ продуктовой линейки, оценка эффективности источников данных и способов их использования, анализ финансовой отчетности, выявление ключевых метрик и трендов).
- Верификация клиентов и борьба с мошенничеством (анализ поведения, выявление мошеннических схем, улучшение методов верификации).
- Анализ и оптимизация маркетинга в России и на международных рынках (анализ эффективности закупки трафика на различных площадках; оценка результатов брендированных кампаний и предложение мер по их улучшению).

Мы ждём от кандидата:

- SQL: отличное владение .

- Python: уверенное владение для анализа данных (Pandas, NumPy).

- Машинное обучение: классические алгоритмы ML для решения прикладных бизнес-задач.

- A/B-тестирование: опыт планирования, проведения и анализа результатов A/B-тестов.

- Теория вероятностей и мат. статистика.


- Умение формулировать гипотезы и решать сложные задачи.

Будет плюсом, если ты работал в банковской или финансовой сферах, но наш опыт говорит о том, что классные аналитики работают и в других областях.

Что мы предлагаем?

  • Серьезный, растущий и нужный продукт. Мы небольшая команда, и мы делаем большой и сложный сервис, который используют около миллиона пользователей в месяц
  • Возможность реализовать свои идеи в проекте с многомиллионной аудиторией
  • Высокие зарплаты и бонусы. Наш сервис востребован на рынке и генерирует прибыль, и мы разделяем успех компании с сотрудниками. Кроме полностью белой заработной платы наши сотрудники могут получать бонусы, сопоставимые с квартальным доходом
  • Удобный офис в Тихом Центре с панорамным видом на город в 10 минутах от метро Площадь Ленина
  • Забота о здоровье. Мы поддерживаем здоровый образ жизни и предлагаем компенсацию расходов на спорт, медицину и стоматологию
  • Регулярные корпоративные мероприятия. Организуем интересные и разнообразные корпоративные мероприятия, тимбилдинги и праздники, способствующие укреплению командного духа и неформальному общению

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.