ML Engineer / Инженер машинного обучения (Python)

Алиса — самый популярный ассистент в России, которым ежедневно пользуются миллионы людей. Наша команда находится на острие технологий: благодаря нам Алиса не просто отвечает на вопросы, а решает задачи пользователя в реальном мире за счёт агентности. Мы переводим взаимодействие с умными устройствами (колонками, телевизорами) на новую архитектуру. В ней большая языковая модель (LLM) самостоятельно вызывает нужные функции-инструменты (tool calling / gpt-tools), чтобы выполнять пользовательские запросы: от включения музыки до построения маршрутов.

Ищем аналитика, который поможет масштабировать новую архитектуру на все сценарии Алисы, глубоко разбираться в качестве работы модели, находить точки роста и выстраивать систему оценки умности ассистента. Вы напрямую повлияете на то, насколько умной, полезной, надёжной и эмпатичной станет Алиса.

Анализ качества работы LLM и поиск точек роста

Вам предстоит глубоко разбираться в качестве работы модели: анализировать пользовательские сценарии и проблемные кейсы, сегментировать ошибки и DSAT, искать закономерности через data mining. Затем — формировать гипотезы, как повысить качество, и оценивать влияние изменений на пользовательский опыт. Вы поможете команде понять, где модель ошибается, почему это происходит и какие улучшения дадут максимальный эффект.

Масштабирование сценариев через tool calling

Вы будете участвовать в переводе ключевых сценариев Алисы (музыка, погода, поиск мест, команды устройств и др.) на новую LLM-архитектуру. Для этого нужно анализировать пользовательские запросы и сценарии, помогать проектировать инструменты и сценарии вызова функций, выявлять точки роста, собирать данные для обучения и приёмки моделей, участвовать в формировании eval-наборов и метрик.

Построение системы оценки качества AI-ассистента

Вместе с командой вы станете развивать систему оценки качества: офлайн-метрики, LLM-as-a-judge, сценарные evals, онлайн-метрики и A/B-эксперименты, мониторинг деградаций, аналитические дашборды и т. п.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

* Больше двух лет работали Data Analyst, Product Analyst или Analyst в data-driven-продукте
* Работали с LLM либо Generative AI (помимо решения бытовых задач) и хотите создавать свои AI-системы
* Уверенно владеете SQL и Python для анализа данных
* Умеете работать с большими объёмами логов и событийных данных
* Занимались продуктовой аналитикой и искали инсайты через данные
* Понимаете основы статистики и A/B-тестирования
* Умеете формулировать продуктовые гипотезы и оценивать их эффект
* Системно мыслите, умеете разбираться в сложных многокомпонентных продуктах

* Работали с LLM-based-продуктами или AI-ассистентами
* Оценивали качество LLM (LLM-as-a-judge, evals, RAG и т. п.)
* Знакомы с концепциями Agentic AI и tool calling
* Строили дашборды (Tableau, DataLens, Superset и др.)
* Работали с NLP/NLU-продуктами или голосовыми ассистентами
* Понимаете, как устроен цикл обучения и улучшения ML/LLM-моделей
* Умеете работать с неструктурированными данными и текстовыми логами

Обязанности:

• Проведение исследований и анализ экспериментов с данными (структурированными и неструктурированными: текст, изображения, видео, аудио).
• Разработка и внедрение моделей машинного и глубокого обучения (TensorFlow, PyTorch, scikit-learn).
• Оптимизация алгоритмов и процессов аналитики для повышения точности и производительности.
• Создание дашбордов и отчётов для визуализации результатов (Tableau, Power BI).
• Обеспечение качества данных: сбор, очистка, хранение и проверка данных.
• Исследование рынка, поведения пользователей и конкурентной среды на основе данных.
• Сотрудничество с бизнес-аналитиками, продуктовыми менеджерами и разработчиками для достижения бизнес-целей.
• Разработка методик воспроизводимого кода и документации для экспериментов.
• Участие в создании цифровых продуктов и услуг, реализация как исследовательских, так и прикладных решений.

Требования:

• Опыт работы в Data Science не менее 4 лет, включая проекты с ML/Deep Learning.
• Высокий уровень владения Python, R, SQL и библиотеками машинного обучения (TensorFlow, PyTorch, scikit-learn).
• Знание статистики, методов анализа данных и алгоритмов машинного обучения.
• Опыт работы с инструментами визуализации (Tableau, Power BI) и облачными платформами (AWS, GCP, Azure).
• Навыки обработки неструктурированных данных (текст, изображения, видео).
• Умение разрабатывать воспроизводимые эксперименты и оптимизировать алгоритмы.
• Опыт взаимодействия с бизнес-командами и командой разработки.
• Лидерские качества, способность влиять на стратегию подразделения.

Условия:

• Официальное трудоустройство в аккредитованной ИТ компании.
• Корпоративная бонусная программа, позволяющая компенсировать проценты по ипотечному кредиту.
• Ежегодный пересмотр и индексация заработной платы по результатам работы, годовые премии.
• Расширенная программа ДМС, включая стоматологию.
• Удаленный формат работы.

Чем предстоит заниматься:

• Разработкой и поддержкой backend-сервисов на Python для интеграции AI-агентов и RAG-систем.
• Реализацией агентных пайплайнов на базе LangChain / LangGraph: проектирование многошаговых сценариев, управление состоянием, вызов инструментов.
• Интеграцией LLM в бизнес-процессы: prompt engineering, structured output, function calling, обработка ошибок.
• Работа с корпоративными данными:
• - построение RAG-систем (документы, метрики, BI-контекст);
• - генерация и валидация SQL-запросов на основе метаданных;
• - взаимодействие с аналитическими СУБД (ClickHouse, PostgreSQL).
• Подготовкой решений к внедрению: участие в адаптации архитектуры под клиентскую инфраструктуру, настройка CI/CD, документирование контрактов и требований к окружению.
• Участие в создании технических демо: подготовка рабочих примеров, запись кратких видеопрезентаций, визуализация логики работы системы.

Здорово, если у тебя есть:

• Опыт коммерческой разработки на Python от 3 лет, уверенные навыки работы с FastAPI или аналогами.
• Практический опыт с LangChain / LangGraph / LlamaIndex и LLM API (prompt engineering, function calling, structured output).
• Уверенное знание SQL: написание сложных запросов, понимание планов выполнения, работа с аналитическими БД (ClickHouse, PostgreSQL и пр.).
• Базовое понимание принципов проектирования микросервисов, опыт работы с Docker, участие в настройке CI/CD.
• Аналитическое мышление: умение переводить бизнес-требования в технические решения, понимание логики BI-систем.

Будет плюсом:

• Опыт быстрого прототипирования UI для демо (Streamlit, Gradio, простой React/Next.js)
• Навыки визуализации данных и процессов (например, отображение chain-of-thought, SQL-логики, графиков).
• Знание Airflow, Spark или других инструментов data engineering.
• Опыт в предметных областях: retail, CIB, risk, compliance.
• Понимание XAI, feature importance, интерпретируемости моделей.