ML-аналитик в AI-команду Яндекс 360
Мы ищем ML-аналитика, который возьмёт на себя оценку качества продуктовых ИИ-функций и агентов. Такие решения уже появляются в Почте, Диске, Документах, Таблицах, Календаре, Телемосте и других сервисах Яндекс 360.
яндекс На сервисе с: 29.09.26 14:42
Мы ищем ML-аналитика, который возьмёт на себя оценку качества продуктовых ИИ-функций и агентов. Такие решения уже появляются в Почте, Диске, Документах, Таблицах, Календаре, Телемосте и других сервисах Яндекс 360.
ИИ-функции ищут информацию, готовят документы, пересказывают встречи и выполняют действия через инструменты. Для каждого сценария нужно понимать, насколько хорошо он работает на реальных запросах и что меняется после обновления модели, промпта, агента или тулов.
Построение системы оценки качества моделей и агентов
Вам предстоит разработать и внедрить LLM-as-a-judge для автоматической оценки ответов моделей, а также построить eval-систему для оценки качества агентов. С её помощью команда будет проверять, насколько хорошо агенты решают пользовательские задачи и работают с тулами на каждом шаге.
Создание пайплайнов обработки данных
Вы будете работать с текстовыми и мультимодальными данными, создавая надёжные и эффективные пайплайны для сбора данных обучения и оценки. Ваша задача — автоматизировать процессы, чтобы данные были всегда актуальными и качественными.
Разработка end-to-end-метрик для агентов Яндекс 360
Вы поможете разработать систему офлайн-метрик для агентов Яндекс 360: определить критерии качества, построить пайплайны и подобрать данные для оценки.
Встраивание решений в продакшн
Созданные вами инструменты и метрики не должны оставаться в виде прототипов. Важной частью работы будет интеграция ваших решений в продовые процессы команды ML-разработчиков и аналитиков.
Больше об ML в Яндексе — в канале Yandex for ML
* Уверенно работаете с Python и SQL, анализируете данные с помощью pandas или похожих инструментов
* Пишете поддерживаемый аналитический код и умеете доводить пайплайны до регулярной работы
* Хорошо знаете теорию вероятностей и математическую статистику
* Понимаете, как работают ML-модели и как оценивать их качество
* Умеете ставить эксперименты, собирать репрезентативные выборки и находить смещения в данных
* Можете связать качество модели с продуктовым сценарием и поведением пользователей
* Самостоятельно разбираетесь в новой области и умеете договориться с разработчиками и продуктовыми командами о критериях качества
* Оценивали LLM, RAG-системы или агентов, которые работают с инструментами
* Работали с экспертной или краудсорсинговой разметкой
* Проводили онлайн-эксперименты и анализ продуктовых метрик
* Знакомы с NLP или мультимодальными моделями
* Запускали новую аналитическую или ML-практику
Похожие вакансии Data Science & ML
Привет! Мы ищем Junior Data Scientist в дружную и высокопрофессиональную команду Business Data Science.
От нас – много интересных задач, прекрасный коллектив, потенциал для роста. От тебя – овладение нашим подклассом задач и необходимым для его решения инструментарием, при желании – решение нестандартных задач и участие в разработке внутреннего инструментария.
Чем мы занимаемся: регрессионные модели на бизнес-данных, помогающие клиентам из крупного и очень крупного бизнеса принимать критически важные для их работы решения.
Что предстоит делать:
- построение регрессионных моделей на бизнес-данных:
- ETL – выгрузка и загрузка данных;
- Preprocessing – предобработка данных;
- Feature Engineering – формирование предикторов;
- Modeling – построение модели, включая верификацию;
- Reporting – подготовка отчёта по результатам моделирования.
- взаимодействие с внутренними и внешними заказчиками;
- участие в разработке внутреннего инструментария самого разного характера;
- другие нестандартные задачи.
Что мы от тебя ждем:
- опыт моделирования и/или работы с данными в рабочих или академических проектах;
- владение Python или R и соответствующими библиотеками для анализа данных;
- математический фундамент: представление о математической статистике, теории вероятностей, алгоритмах оптимизации и т.п.
Будет плюсом:
- интерес к разработке и программированию (есть задачи по созданию и развитию инструментария);
- опыт в бизнес-аналитике (бизнес-аналитик, маркетинговый аналитик, стратег) или хорошее понимание, как устроен бизнес;
- практическое представление о Git, CI/CD, Docker, ML Flow;
- умение презентовать результаты работы внутреннему и внешнему заказчику.
Junior data scientist (модели кредитного риска)
• Участвовать в разработке и поддержке моделей кредитного риска для юридических лиц.
• Анализировать данные, создавать и отбирать признаки для моделей.
• Применять алгоритмы машинного обучения: линейные модели, случайный лес, градиентный бустинг.
• Тестировать новые источники данных и подходы к моделированию, включая анализ платежного поведения.
• Готовить аналитические материалы, участвовать в исследованиях и предлагать собственные идеи.
Будет преимуществом
• Знакомство с XGBoost, LightGBM, CatBoost или Apache Spark.
• Опыт работы с Hadoop, Hive, Impala или реляционными базами данных.
Требования:
• Высшее или незаконченное высшее образование в области математики, экономики, анализа данных или смежных направлениях.
• Базовые знания теории вероятностей, математической статистики и машинного обучения.
• Навыки работы с Python и библиотеками pandas, numpy, scikit-learn.
• Базовое знание SQL и понимание основных этапов подготовки данных.
• Готовность учиться, развиваться и работать в команде.
Условия:
• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
• Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
• Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
• Сложные и интересные задачи, современный стек технологий
• Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
• Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, МИФ и бизнес-изданий
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.