Старший продуктовый аналитик

Мы ищем аналитика, который будет вместе с нами повышать качество AI-сервисов и LLM-агентов в Яндекс Финтехе: определять критерии оценки, исследовать ошибки и проверять, становятся ли решения полезнее для пользователей.

В финансовых сценариях важны детали: необходимо отслеживать, правильно ли модель объясняет условия и выполняет расчёты, использует ли актуальную информацию и понимает ли, когда данных для ответа недостаточно. Вам предстоит превращать эти требования в измеримые показатели и помогать команде принимать решения на основе результатов оценки.

Вы будете работать на стыке аналитики, машинного обучения и продукта — вместе с разработчиками и экспертами в предметной области.

Развитие метрик качества

Вам предстоит определять, что означает хороший результат для разных AI-сценариев, и разрабатывать методы его измерения. Нужно будет учитывать точность, полноту и полезность ответов, а также корректность действий агентов и успешность решения пользовательской задачи.

Подготовка данных и организация разметки

Вы будете собирать оценочные наборы из типичных запросов, сложных случаев и найденных ошибок. Вместе с экспертами — готовить инструкции для разметчиков, разбирать спорные оценки и проверять согласованность разметки. Важно, чтобы наборы отражали реальные сценарии использования и позволяли замечать существенные изменения качества.

Оценка изменений и приёмка релизов

Вам предстоит сравнивать версии моделей, промптов и агентских сценариев, проверять статистическую значимость результатов и находить ухудшения на отдельных группах запросов. Результатом работы станут понятные выводы: что улучшилось, какие проблемы остались и что стоит исправить перед запуском.

Исследование ошибок и проверка гипотез

Вы будете разбирать неудачные ответы и действия агентов, искать причины ошибок в модели, контексте, поиске информации или работе инструментов. На основе анализа — предлагать улучшения вместе с командой и проверять их эффект, сопоставляя результаты офлайн-оценки с поведением пользователей и продуктовыми метриками.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

* Используете Python для анализа данных и автоматизации задач, пишете запросы на SQL
* Понимаете методы математической статистики: можете выбрать способ сравнения и корректно интерпретировать эксперимент
* Готовы исследовать текстовые данные, внимательно разбирать отдельные примеры и находить за ними системные проблемы
* Интересуетесь AI-инструментами и LLM-моделями, хотите разбираться в причинах их ошибок

Департамент электронной коммерции приглашает Младшего аналитика данных.

Мы - лидеры категории игрушки на Ozon и Яндекс Маркет, на Wildberries – ТОП-3.

Мы предлагаем:

• Работу с топовыми брендами в категории игрушки (L.O.L., Bratz, Baby Born, Cry Babies, Pop Mart, GooJitZu, Дикие Скричеры и др.)
• Оформление по ТК РФ (с 1 рабочего дня)
• График 5/2 с 9 - 18, 10 - 19 (офис)
• Современный офис, 7 мин от м. Динамо
• Скидки на продукцию компании.

Ключевые задачи:

• Формирование и развитие регулярной аналитической отчетности подразделения: создание и поддержка отчетов и дашбордов в DataLens
• Анализ ключевых показателей электронной коммерции: продажи, заказы, выкупы, возвраты, конверсия, ассортимент, товарные остатки, эффективность рекламных и маркетинговых активностей.
• Проведение ad hoc-анализа для решения бизнес-задач и поиска точек роста продаж.
• Сбор, обработка и объединение данных из различных источников, подготовка аналитических витрин и расчет ключевых метрик.
• Автоматизация процессов сбора, обработки данных и формирования регулярной отчетности с использованием SQL и Python.
• Проверка качества данных, выявление расхождений и обеспечение корректности аналитических показателей.

Требования:

• Уверенное знание SQL: написание сложных запросов, JOIN, CTE, группировки, оконные функции.
• Владение Python для анализа и обработки данных (pandas), автоматизации задач и работы с API.
• Продвинутое владение Excel: формулы, сводные таблицы, Power Query.
• Опыт работы с BI-инструментами (DataLens, Power BI, Tableau или аналоги), умение создавать понятные и информативные дашборды.
• Понимание принципов построения аналитической отчетности, расчета бизнес-метрик и визуализации данных.

Будет преимуществом:

• Опыт аналитики продаж на маркетплейсах Wildberries, Ozon, Яндекс Маркет.
• Понимание показателей e-commerce: конверсия, оборачиваемость, маржинальность, ДРР, ROI/ROMI.
• Опыт работы с API маркетплейсов.
• Опыт использования Power Pivot и Power Query.