ML-разработчик в команду Фотоинпута Alice AI VLM

Наша команда отвечает за качество ответов Алисы в случаях, когда пользователь присылает изображение в чат, — мы называем это направление Фотоинпутом: найти похожий товар в интернете, распознать или перевести текст, помочь разобраться с домашним заданием, дать краткую выжимку с инфографики — и многих других.

Сердцем Фотоинпута является Alice AI VLM. Мы построили вокруг неё многокомпонентную систему, которая помогает делать ответы более релевантными, актуальными и полезными. Для этого мы интегрируем навыки работы с компонентами на разных стадиях обучения непосредственно самой модели — от pretrain до RL. Кроме того, у нас есть широкий спектр продуктовых срезов, которые мы развиваем в рамках Фотоинпута, например образование или обогащение ответов картинками и ссылками.

Мы ищем опытного проактивного специалиста, которому нравится работать на стыке ресёрча и продукта и который хочет решать реальные проблемы наших пользователей и создавать одного из лучших AI-ассистентов на российском рынке.

Лендинг с описанием юзкейсов нашей технологии

Статья про то, как устроен Фотоинпут и Alice AI VLM

Обучать Alice AI VLM

Нам важно, чтобы модель на фундаментальном уровне понимала, как работать в системе, как давать ответы, которые решат задачу пользователя. Предстоит создавать качественные и нетривиальные награды для модели и улучшать свойства Alice AI VLM: например, полезность, фактологичность — за счёт RLHF.

Улучшать качество на образовательных сценариях

Мы делаем Алису полезным помощником по объяснению задач в различных научных дисциплинах: математике, геометрии, физике и других. Нужно делать масштабируемые пайплайны сбора качественных данных, создавать для модели награды, повышающие точность ответов при решении задач.

Развивать агентские навыки у Alice AI VLM

Ваша задача — учить модель работать с внешними инструментами в tool-call-режиме за счёт обучения в различных агентских средах.

Внедрять новые фичи и искать точки роста

Мы используем большой каскад метрик для выбора лучших кандидатов на выкатку и A/B-тестирование, чтобы оценивать влияние на рабочих задачах наших пользователей. Те же самые инструменты помогают нам искать точки роста: новые фичи или существующие проблемы.

Больше об ML в Яндексе — в канале Yandex for ML

* Горите темой больших мультимодальных моделей и занимались их обучением
* Хорошо знаете NLP/CV и следите за трендами в LLM/VLM
* Умеете решать ML-задачи полного цикла — от сбора разметки до внедрения в продакшен