Аналитик качества AI в Финтех
Мы ищем аналитика, который будет вместе с нами повышать качество AI-сервисов и LLM-агентов в Яндекс Финтехе: определять критерии оценки, исследовать ошибки и проверять, становятся ли решения полезнее для пользователей.
яндекс На сервисе с: 15.10.26 18:21
Мы ищем аналитика, который будет вместе с нами повышать качество AI-сервисов и LLM-агентов в Яндекс Финтехе: определять критерии оценки, исследовать ошибки и проверять, становятся ли решения полезнее для пользователей.
В финансовых сценариях важны детали: необходимо отслеживать, правильно ли модель объясняет условия и выполняет расчёты, использует ли актуальную информацию и понимает ли, когда данных для ответа недостаточно. Вам предстоит превращать эти требования в измеримые показатели и помогать команде принимать решения на основе результатов оценки.
Вы будете работать на стыке аналитики, машинного обучения и продукта — вместе с разработчиками и экспертами в предметной области.
Развитие метрик качества
Вам предстоит определять, что означает хороший результат для разных AI-сценариев, и разрабатывать методы его измерения. Нужно будет учитывать точность, полноту и полезность ответов, а также корректность действий агентов и успешность решения пользовательской задачи.
Подготовка данных и организация разметки
Вы будете собирать оценочные наборы из типичных запросов, сложных случаев и найденных ошибок. Вместе с экспертами — готовить инструкции для разметчиков, разбирать спорные оценки и проверять согласованность разметки. Важно, чтобы наборы отражали реальные сценарии использования и позволяли замечать существенные изменения качества.
Оценка изменений и приёмка релизов
Вам предстоит сравнивать версии моделей, промптов и агентских сценариев, проверять статистическую значимость результатов и находить ухудшения на отдельных группах запросов. Результатом работы станут понятные выводы: что улучшилось, какие проблемы остались и что стоит исправить перед запуском.
Исследование ошибок и проверка гипотез
Вы будете разбирать неудачные ответы и действия агентов, искать причины ошибок в модели, контексте, поиске информации или работе инструментов. На основе анализа — предлагать улучшения вместе с командой и проверять их эффект, сопоставляя результаты офлайн-оценки с поведением пользователей и продуктовыми метриками.
Больше об аналитике в Яндексе — в канале Yandex for Analytics
* Используете Python для анализа данных и автоматизации задач, пишете запросы на SQL
* Понимаете методы математической статистики: можете выбрать способ сравнения и корректно интерпретировать эксперимент
* Готовы исследовать текстовые данные, внимательно разбирать отдельные примеры и находить за ними системные проблемы
* Интересуетесь AI-инструментами и LLM-моделями, хотите разбираться в причинах их ошибок
Похожие вакансии Аналитика данных
Калькулятор численности – проект по автоматизации расчета численность персонала в магазинах Магнит. В настоящий момент реализован месячный и дневной расчет численности РП, в разработке проект по планированию смен сотрудников ("Планировщик смен")
Чем ты будешь заниматься
- Составлением БТ для команды разработки
- Разработкой и доработкой логики работы Калькулятора численности
- Проведением исследований о возможностях улучшения текущего расчета
- Оценкой финансовых эффектов доработок
Мы ожидаем
- Опыт работы в качестве аналитика данных от 3 лет.
- Опыт работы с Python, Excel.
- Знания основ математической статистики и теории вероятностей.
-
Умение логично аргументировать позицию и решения.
Чем предстоит заниматься
- ведением технической документации и описанием данных;
- проектированием, разработкой и наполнением аналитических витрин данных;
- постановкой задач дата-инженерам;
- работой с заказчиками (бизнесом) по задачам (описание ТЗ, реализация и подтверждение результата).
Чего мы ждем от тебя
- практический опыт работы с СУБД PostgreSQL и написания SQL (основной PostgreSQL, на уровне чтения/понимания MSSQL);
- опыт построения витрин с большими данными;
- практический опыт применения алгоритмов и методов обработки и анализа больших данных;
- опыт обработки данных в форматах: JSON, CSV, TSV, XML;
- понимание и опыт работы с методологиями проектирования БД (Data Vault, 2-3 NF);
- знание и понимание концепций, технологий и методологий построения хранилищ данных;
- сильные аналитические навыки;
- отличные коммуникативные и межличностные навыки;
- умение документировать процессы и данные.
Будет плюсом
- опыт работы с СУБД Greenplum;
- опыт работы с Python, PySpark, dbt;
- опыт обработки данных в форматах: Parquet, ORC, Avro;
- опыт работы с GitLab;
- понимание и опыт работы с методологиями проектирования БД (Anchor Modeling);
- знание и опыт в DS/ML;
- знание и опыт работы с NoSQL;
- опыт работы с инструментами визуализации данных и бизнес-аналитики.
Департамент электронной коммерции приглашает Младшего аналитика данных.
Мы - лидеры категории игрушки на Ozon и Яндекс Маркет, на Wildberries – ТОП-3.
Мы предлагаем:
- Работу с топовыми брендами в категории игрушки (L.O.L., Bratz, Baby Born, Cry Babies, Pop Mart, GooJitZu, Дикие Скричеры и др.)
- Оформление по ТК РФ (с 1 рабочего дня)
- График 5/2 с 9 - 18, 10 - 19 (офис)
- Современный офис, 7 мин от м. Динамо
- Скидки на продукцию компании.
Ключевые задачи:
- Формирование и развитие регулярной аналитической отчетности подразделения: создание и поддержка отчетов и дашбордов в DataLens
- Анализ ключевых показателей электронной коммерции: продажи, заказы, выкупы, возвраты, конверсия, ассортимент, товарные остатки, эффективность рекламных и маркетинговых активностей.
- Проведение ad hoc-анализа для решения бизнес-задач и поиска точек роста продаж.
- Сбор, обработка и объединение данных из различных источников, подготовка аналитических витрин и расчет ключевых метрик.
- Автоматизация процессов сбора, обработки данных и формирования регулярной отчетности с использованием SQL и Python.
- Проверка качества данных, выявление расхождений и обеспечение корректности аналитических показателей.
Требования:
- Уверенное знание SQL: написание сложных запросов, JOIN, CTE, группировки, оконные функции.
- Владение Python для анализа и обработки данных (pandas), автоматизации задач и работы с API.
- Продвинутое владение Excel: формулы, сводные таблицы, Power Query.
- Опыт работы с BI-инструментами (DataLens, Power BI, Tableau или аналоги), умение создавать понятные и информативные дашборды.
- Понимание принципов построения аналитической отчетности, расчета бизнес-метрик и визуализации данных.
Будет преимуществом:
- Опыт аналитики продаж на маркетплейсах Wildberries, Ozon, Яндекс Маркет.
- Понимание показателей e-commerce: конверсия, оборачиваемость, маржинальность, ДРР, ROI/ROMI.
- Опыт работы с API маркетплейсов.
- Опыт использования Power Pivot и Power Query.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.