Лид ML-аналитики в Нейросервисы

Мы строим AI-сервисы для бизнеса на базе технологий Яндекса. Среди наших продуктов — Нейроюрист, Алиса Про и Нейросаппорт. Параллельно мы активно развиваем новые направления Нейросейлз и Нейробухгалтер и проверяем новые гипотезы. Все сервисы создаются на общих бэкенд- и фронтенд-компонентах и активно используют LLM-технологии.

Ищем лида ML-аналитики, который поможет выстроить сильную функцию аналитики качества AI-сервисов: от процессов и метрик до команды и платформенных решений. В этой роли важно не только управлять людьми и приоритетами, но и глубоко понимать, как измерять качество LLM-систем, быстро валидировать изменения и помогать командам принимать решения на основе данных.

Развитие аналитики качества LLM

Основная часть работы будет связана с качеством AI-продуктов и ML-систем. Вам предстоит вместе с командами искать способы измерять качество моделей и AI-сценариев, строить систему метрик, улучшать процессы оценки и помогать командам быстрее и безопаснее запускать изменения. У нас много неоднозначных задач: как оценивать качество генераций, как измерять полезность AI-фич для бизнеса, как автоматизировать проверку качества и как быстро понимать, стало лучше или хуже после очередного изменения модели или промптов.

Построение процессов ML-аналитики

Нужно будет выстроить понятные процессы вокруг оценки качества: от ручной разметки и продуктовых исследований до LLM-as-a-judge и автоматических проверок. Мы хотим, чтобы аналитика качества стала полноценной частью платформы Нейросервисов.

Работа с несколькими сервисами одновременно

Вам предстоит помогать сразу нескольким AI-продуктам и новым гипотезам: Нейроюристу, Алисе Про, Нейросаппорту, Нейросейлзу и другим направлениям. Нужно будет уметь быстро переключаться между задачами, видеть общие паттерны и переносить лучшие практики между командами.

Управление командой и её развитие

Вы будете нанимать и развивать ML-аналитиков, помогать им расти и формировать сильную инженерно-продуктовую культуру вокруг аналитики качества AI.

Больше об ML в Яндексе — в канале Yandex for ML

* Руководили аналитиками, ML-аналитиками или quality-направлениями
* Работали с офлайн- и онлайн-оценкой качества моделей
* Хорошо понимаете специфику ML- и LLM-продуктов
* Умеете строить метрики качества для AI-систем
* Понимаете ограничения классических продуктовых метрик для генеративных моделей
* Уверенно владеете SQL и Python
* Можете самостоятельно проводить исследования и разбираться в сложных неоднозначных задачах
* Знаете, как устроены процессы разметки, evals и проверки качества моделей
* Умеете выстраивать процессы и эффективно работать с большим количеством стейкхолдеров
* Любите нанимать и развивать сильных людей

* Работали с LLM-as-a-judge, synthetic data или автоматическими evals
* Строили ML-метрики или платформы оценки качества
* Умеете работать с AI-ассистентами, RAG-системами или агентами
* Понимаете специфику B2B- и enterprise-AI-продуктов
* Имеете опыт работы в быстрорастущих AI-командах или стартапах
* Разбираетесь в продуктовой аналитике и отстраивали соответствующие процессы