сбер

Руководитель аналитики метрик качества GigaChat (LLM Evaluation)

сбер · На сервисе с: 19.08.26 12:08

↑ Вакансия с автоподнятием
650k–850k ₽РоссияУдалёнка

Мы — команда GigaChat ML. Делаем полный цикл обучения модели, от претрейна до алайнмента. Нам нужен руководитель, который будет фултайм владеть системой метрик качества GigaChat:

  • Измерять качество на бенчмарках и реальных логах.
  • Находить слабые места и причины деградаций.
  • Развивать метрики и процессы, ускорять внедрение новых бенчмарков и системы замера.

Эта роль про фунадментальное качество модели и измерения (не про продуктовые метрики DAU/Retention и не про сбор данных как основной фокус).

Что предстоит делать

Владение системой качества и метрик (end-to-end ownership)

  • Определять и поддерживать “quality scorecard” для GigaChat: что считаем качеством, какие метрики ключевые, какие — нет.
  • Держать фокус на эффективности системы и снижать стоимость измерений.

Бенчмарки и регрессионное тестирование

  • Постоянно актуализировать пакет бенчмарков под ключевые сценарии, чтобы успевать за быстро развивающейся сферой LLM.
  • Внедрить регулярное сравнительное тестирование версий модели и конкурентов по единой.

Аналитика логов и диагностика слабых мест

  • Анализировать логи и пользовательский фидбэк с позиции качества: кластеризация проблем, тематические срезы, частотность, тяжесть.
  • Связывать проблемы в логах с бенчмарками: проблемы должны быть измеримы.

Разработка и внедрение метрик качества

  • Разрабатывать новые метрики/прокси метрики (автоматические и полуавтоматические), калибровать их против эталонных оценок.
  • Продумывать, где нужна человеческая оценка, где достаточно автоматики, как снижать стоимость измерений без потери достоверности.
  • Внедрять метрики в процессы: CI/релизные проверки, мониторинг качества, алерты.

Эксперименты и принятие решений

  • Проектировать и анализировать A/B-эксперименты качества (в онлайне и/или в контролируемых тестах), делать выводы: “что улучшилось/ухудшилось”, “почему”, “что делать дальше”, “можно ли катить в прод”.

Для нас важно

  • Сильный Python (pandas, NumPy), уверенная аналитика данных, умение быстро превращать «сырые логи» в выводы.
  • Хорошее понимание оценки качества LLM: какие типы метрик бывают, где они ломаются, как валидировать метрику, как избегать “gaming”.
  • Понимание статистики и экспериментов: доверительные интервалы, тесты, множественные сравнения, дизайн A/B, интерпретация результатов.
  • Практический опыт работы с LLM (Open Source и/или proprietary): понимание специфики инструкционного поведения, галлюцинаций, safety ограничений.
  • Навыки продуктового и инженерного мышления: формулировать критерии качества так, чтобы они становились механизмом управления.

Будет плюсом

  • Опыт построения evaluation фреймворков и “evaluation harness” (любые внутренние/внешние тулзы), интеграция оценок в CI/CD.
  • Опыт с LLM based evaluation (LLM judge) и методами калибровки/контроля смещения судьи.
  • Знание систем аналитики и хранилищ (SQL, ClickHouse/BigQuery/Spark/S3), мониторинг/дашборды (Grafana/Superset/Looker и аналоги).

Условия

  • Удалённо по России.
  • Возможность оформления в аккредитованную IT-компанию.
  • Годовая премия по итогам работы до 6 окладов.
  • Регулярный пересмотр зарплат.
  • Корпоративный спортзал и зоны отдыха.
  • Более 400 программ СберУниверситета для роста.
  • Программа адаптации и помощь руководителя на старте.
  • Крупнейшее DS&AI community — более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы.
  • Расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа.
  • Ипотека для сотрудников по дисконтной программе.
  • СберПрайм+ и скидки у партнёров.
  • Бонус за рекомендации в команду.

Похожие вакансии Data Science & ML

hh.ru
гаскар групп

Инженер по компьютерному зрению

гаскар группНа сервисе с: 24.06.26 17:22↑ Вакансия с автоподнятием
Зарплата не указанаРоссияМоскваГибрид

Гаскар Групп – это российский разработчик и интегратор собственных ИТ решений, разработчик и производитель беспилотных летательных аппаратов для обеспечения их автономности. Продукция применяется для мониторинга территорий, доставки легковесных грузов и других миссий.

Производство полного цикла, от создания идеи и разработки до выпуска готовой продукции в серии!

Мы производим: БВС, оптику, литий-ионные аккумуляторы, электродвигатели, модемы, контролеры связи, пульт управления, СКС и программируем своей собственный СОФТ для наших продуктов.

Мы предлагаем погрузиться в мир инноваций и технологических разработок.

Мы разрабатываем программно-аппаратные комплексы для беспилотных авиационных систем. В состав решений входят средства обнаружения, сопровождения и перехвата воздушных целей, а также собственное бортовое программное обеспечение.

Ищем инженера по компьютерному зрению, который будет на постоянной основе развивать направление машинного зрения: заниматься обучением и внедрением моделей, работать с датасетами, улучшать качество детекции и сопровождения целей, а также адаптировать решения под встраиваемые вычислительные платформы.

Нам нужен специалист, который будет полностью сфокусирован на данном направлении и сможет отвечать за весь жизненный цикл моделей — от данных до внедрения на изделие.

Чем предстоит заниматься :

  • Разрабатывать и дорабатывать алгоритмы обнаружения и сопровождения объектов.
  • Обучать, валидировать и тестировать модели компьютерного зрения;
  • Анализировать качество работы моделей и улучшать метрики;
  • Подготавливать и оптимизировать инференс для целевых вычислителей на базе Rockchip;
  • Интегрировать модели в существующую программную платформу;
  • Организовывать процессы разметки данных и контролировать качество датасетов;
  • Формировать требования к новым датасетам и участвовать в планировании сбора данных;
  • Проводить исследования и сравнительные испытания различных архитектур;
  • Готовить технические отчеты по результатам испытаний и качеству моделей;
  • Взаимодействовать с разработчиками бортового ПО, алгоритмистами и испытателями.

    Наши требования:
  • Уверенное владение Python и хорошее знание C++;
  • Практический опыт разработки решений в области Computer Vision;
  • Умение работать с системами контроля версий: git;
  • Опыт работы с Jira или аналогичными системами управления задачами;
  • Отличное понимание современных подходов к детекции объектов;
  • Глубокое знание семейства YOLO и опыт его применения в реальных проектах;
  • Понимание принципов работы камер и компьютерного зрения: (Дисторсия, калибровка камер, intrinsic и extrinsic параметры, системы координат, проективная геометрия);
  • Опыт подготовки и обучения собственных моделей;
  • Опыт оптимизации моделей для встраиваемых вычислителей;
  • Опыт работы с RKNN Toolkit и NCNN;
  • Понимание особенностей квантования, конвертации и ускорения нейронных сетей на платформах Rockchip;
  • Опыт работы с Linux.
  • Наши условия для тебя:

  • Официальное трудоустройство, полностью "белая" заработная плата;
  • Соц. пакет по ТК РФ;
  • Заработная плата обсуждается с финальным кандидатом;
  • Офис расположен в шаговой доступности от станции м. Войковская, бизнес-центр уровня А-класса;
  • Уютный современный офис, оснащенный по последнему слову техники;
  • График работы с 09:00 до 18:00. Пятница сокращенный день;
  • Дружный коллектив и хороший психологический климат;
  • Открытая, демократичная культура. Возможность реализовать свои идеи.

    Просьба в сопроводительном письме указывать свои зарплатные ожидания!
Сайты компаний
vk

Руководитель группы

vkНа сервисе с: 17.06.26 20:36↑ Вакансия с автоподнятием
Зарплата не указанаРоссияМосква

VK Реклама — платформа, которая объединяет все крупнейшие в России и СНГ социальные сети и сервисы с общим охватом более 140 млн человек. Благодаря VK Рекламе у рекламодателей есть единая точка доступа к аудитории рунета и колоссальному объёму мобильного трафика высокого качества.

Ядро рекламной системы — аукцион, обеспечивающий эффективную реализацию выбранных рекламодателями стратегий ставок и подбор рекламы для пользователей. Мы ищем руководителя в команду вертикалей рекламы, которому интересно глубоко погрузиться в механику аукциона, растить эффективность рекламных продуктов и стратегий ставок с помощью методов машинного обучения.

Что предлагаем:

  • Возможность внедрять решения, влияющие на ~100 млн пользователей ежедневно
  • Интересную предметную область — реклама сочетает в себе рекомендательную систему и аукцион со множеством дополнительных механизмов
  • Технологические платформы компании, упрощающие внедрения в рантайм

Задачи

  • Руководить командой: наём, развитие, performance review
  • Декомпозировать бизнес-цели и проекты до уровня задач для команды
  • Повышать эффективность рекламы при помощи ML-алгоритмов
  • Предлагать новые решения и проводить A/B-эксперименты для оценки гипотез
  • Обеспечивать стабильность ML-решений в высоконагруженном рантайме

Требования

  • Опыт руководства командой ML или разработки от двух лет
  • Опыт развития команды, проведения code review
  • Практический опыт разработки на Java, Python или C++
  • Знание классических методов машинного обучения (линейные модели, градиентный бустинг, матричные факторизации, методы NLP) и DL
  • Понимание принципов и методов предобработки данных, feature engineering и оценки моделей
  • Знание алгоритмов и структур данных

Будет плюсом

  • Опыт разработки рекомендательных систем
  • Опыт работы с большими данными (Spark, Hadoop, YTsaurus)
Сайты компаний
сбер

Senior Data Scientist (R&D NLP)

сберНа сервисе с: 12.06.26 17:58↑ Вакансия с автоподнятием
Зарплата не указанаРоссияМосква

Команда специализируется на R&D NLP.

Мы первые, кто применяет самые передовые подходы и технологии к существующим системообразующим процессам. Твоими коллегами будут сильные специалисты NLP.

Основной фокус – проекты, способные трансформировать и масштабировать существующие процессы.

Если ты хочешь почувствовать свой вклад в цифровую трансформацию, если ты умеешь и любишь мощные модели, железо и быстрое прототипирование, если тебе важно развиваться на разнообразных проектах, то срочно окликайся!

  • проектирование, разработка, контроль качества мультиагентных систем на базе LLM для решения мульти-шаговых задач

  • проектирование и разработка систем RAG, OSINT deep research систем для работы с миллионами документов

  • R&D в области NLP: эксперименты с новейшими архитектурами, reasoning-моделями, fine-tuning моделей под специфические задачи

  • оптимизация inference для работы с высокими нагрузками

  • построение data pipelines для обработки и индексации больших объемов текстовых данных

  • работа рука об руку с продуктом: от идеи до продакшна < 3 месяцев.

  • опыт production-разработки ML-систем от 5 лет

  • глубокое понимание современных LLM архитектур (Transformers, attention mechanisms)

  • практический опыт с RAG: vector databases, embedding models, retrieval strategies

  • опыт работы с распределенными вычислениями (PyTorch Distributed, DeepSpeed)

  • Python на уровне написания эффективного production кода.

Будет плюсом:

  • опыт работы с information retrieval системами

  • опыт построения мультиагентных систем (LangChain, AutoGen, CrewAI)

  • опыт fine-tuning больших языковых моделей

  • знание современных подходов к prompt engineering и chain-of-thought reasoning.

  • комфортный современный офис рядом с м. Кутузовская

  • гибридный формат работы

  • ежегодный пересмотр зарплаты и годовая премия

  • корпоративный спортзал и зоны отдыха

  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

  • расширенный ДМС, льготное страхование для семьи

  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

  • вознаграждение за рекомендацию друзей в команду Сбера.

Эта вакансия также есть на:hh.ru

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.