Data Scientist

Ищем инженера, который совмещает прикладную ML-разработку и MLOps: умеет работать с данными и моделями, организовать воспроизводимый процесс и довести решение до стабильной работы в production с помощью ИИ-агентов.

Ответственность end-to-end: от постановки ML-задачи и выбора подхода до работающего сервиса и контроля качества после запуска. Нужен специалист, способный не только развернуть готовую модель, но и подготовить данные, обучить или адаптировать модель, оценить результат и лично проверить его в продукте.

Обязанности:

• Вести ML-задачу полного цикла. Уточнять задачу и критерии успеха, анализировать и подготавливать данные, создавать baseline и выбирать подход. Определять, достаточно ли готовой модели или требуется её адаптация либо обучение.
• Обучать и оценивать модели. Обучать или дообучать модели, анализировать ошибки, сравнивать решения по качеству, скорости и стоимости. Документировать результаты экспериментов и ограничения выбранного подхода.
• Организовывать воспроизводимый MLOps-процесс. Автоматизировать подготовку данных, обучение, оценку и развёртывание; версионировать данные, код, модели и конфигурации. Обеспечивать повторяемость экспериментов и сборок.
• Разрабатывать и сопровождать ML-сервисы. Создавать сервисы инференса и интеграции с продуктом, настраивать окружения CPU/GPU, тестирование, CI/CD, мониторинг, обновление и откат моделей.
• Настраивать ИИ-агентов для ML и инфраструктуры. Создавать skills, проектные инструкции и workflow. Подключать инструменты и документацию, контролировать доступ к данным, секретам и вычислительным ресурсам, проверять подготовленный агентами код.
• Лично валидировать качество. Вручную проверять данные и разметку на выборках, анализировать предсказания и ошибки модели, исследовать проблемные сценарии. Не ограничиваться сводными метриками.
• Проверять решение в целевой среде. Лично проходить реальные сценарии в развёрнутом продукте, проверять интеграции и нагрузочные характеристики. Диагностировать проблемы данных, модели, сервиса и инфраструктуры.
• Контролировать работу после запуска. Следить за качеством, задержками, ошибками, потреблением ресурсов и изменениями входных данных. Исследовать отклонения, устранять проблемы и проверять результат исправлений.

Требования:

• Практический опыт прикладного ML. Самостоятельная подготовка данных, обучение и оценка моделей, анализ ошибок. Понимание выбора метрик, разделения данных на обучающие, валидационные и тестовые выборки, переобучения и утечек данных.
• Самостоятельная ML-разработка. Уверенный Python, опыт PyTorch и/или scikit-learn либо аналогичных инструментов. Умение читать, писать и отлаживать код подготовки данных, обучения и инференса, а не только запускать готовые примеры.
• Production-опыт и MLOps. Практический опыт развёртывания и сопровождения ML-сервисов. Понимание API, хранения и версионирования артефактов, воспроизводимости окружений, мониторинга, обновления и отката моделей.
• Инженерная инфраструктура. Практические навыки Linux, Docker, Git, тестирования и CI/CD. Умение диагностировать проблемы производительности, использования CPU/GPU и памяти.
• Coding agents и их адаптация. Практический опыт Codex, Claude Code или аналогов; создание skills и проектных инструкций, настройка контекста, инструментов и безопасных окружений под ML- и инфраструктурные задачи.
• Личная ответственность за результат. Готовность самостоятельно проверять код и выводы агентов, вручную анализировать данные и предсказания, проверять реальные сценарии и доводить модель и сервис до согласованного качества.

Будет плюсом:

• Опыт MLflow, DVC, Kubernetes и оркестраторов вычислительных задач.
• Опыт оптимизации GPU-инференса, батчинга, квантования и нагрузочного тестирования ML-сервисов.
• Опыт в одном или нескольких направлениях: NLP/LLM, компьютерное зрение, обработка речи или ML на табличных данных.

Что считается завершённой работой:

• Получено воспроизводимое решение с подтверждённым качеством, проверенное в целевой среде и интегрированное в продукт. Результаты оценки и известные ограничения зафиксированы, мониторинг, обновление и откат предусмотрены.​​​​​​​​​​​​​​ ​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​Личный анализ данных и предсказаний, а также проверка реальных сценариев обязательны. Одной сводной метрики, обученной модели или работающего endpoint недостаточно.

Условия:

• Фиксированная оплата труда. Уровень дохода в оффере будет согласовываться по грейдовой системе, исходя из результатов собеседования.
• Готовы рассматривать кандидатов с разным уровнем квалификации (junior/middle/senior).
• Оформление через ИП.

Алиса — самый популярный ассистент в России, которым ежедневно пользуются миллионы людей. Наша команда находится на острие технологий: благодаря нам Алиса не просто отвечает на вопросы, а решает задачи пользователя в реальном мире за счёт агентности. Мы переводим взаимодействие с умными устройствами (колонками, телевизорами) на новую архитектуру. В ней большая языковая модель (LLM) самостоятельно вызывает нужные функции-инструменты (tool calling / gpt-tools), чтобы выполнять пользовательские запросы: от включения музыки до построения маршрутов.

Ищем аналитика, который поможет масштабировать новую архитектуру на все сценарии Алисы, глубоко разбираться в качестве работы модели, находить точки роста и выстраивать систему оценки умности ассистента. Вы напрямую повлияете на то, насколько умной, полезной, надёжной и эмпатичной станет Алиса.

Анализ качества работы LLM и поиск точек роста

Вам предстоит глубоко разбираться в качестве работы модели: анализировать пользовательские сценарии и проблемные кейсы, сегментировать ошибки и DSAT, искать закономерности через data mining. Затем — формировать гипотезы, как повысить качество, и оценивать влияние изменений на пользовательский опыт. Вы поможете команде понять, где модель ошибается, почему это происходит и какие улучшения дадут максимальный эффект.

Масштабирование сценариев через tool calling

Вы будете участвовать в переводе ключевых сценариев Алисы (музыка, погода, поиск мест, команды устройств и др.) на новую LLM-архитектуру. Для этого нужно анализировать пользовательские запросы и сценарии, помогать проектировать инструменты и сценарии вызова функций, выявлять точки роста, собирать данные для обучения и приёмки моделей, участвовать в формировании eval-наборов и метрик.

Построение системы оценки качества AI-ассистента

Вместе с командой вы станете развивать систему оценки качества: офлайн-метрики, LLM-as-a-judge, сценарные evals, онлайн-метрики и A/B-эксперименты, мониторинг деградаций, аналитические дашборды и т. п.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

* Больше двух лет работали Data Analyst, Product Analyst или Analyst в data-driven-продукте
* Работали с LLM либо Generative AI (помимо решения бытовых задач) и хотите создавать свои AI-системы
* Уверенно владеете SQL и Python для анализа данных
* Умеете работать с большими объёмами логов и событийных данных
* Занимались продуктовой аналитикой и искали инсайты через данные
* Понимаете основы статистики и A/B-тестирования
* Умеете формулировать продуктовые гипотезы и оценивать их эффект
* Системно мыслите, умеете разбираться в сложных многокомпонентных продуктах

* Работали с LLM-based-продуктами или AI-ассистентами
* Оценивали качество LLM (LLM-as-a-judge, evals, RAG и т. п.)
* Знакомы с концепциями Agentic AI и tool calling
* Строили дашборды (Tableau, DataLens, Superset и др.)
* Работали с NLP/NLU-продуктами или голосовыми ассистентами
* Понимаете, как устроен цикл обучения и улучшения ML/LLM-моделей
* Умеете работать с неструктурированными данными и текстовыми логами