Аналитик мобильных приложений (Mobile Product / Marketing Analyst)

Мы ищем аналитика, который будет вместе с нами повышать качество AI-сервисов и LLM-агентов в Яндекс Финтехе: определять критерии оценки, исследовать ошибки и проверять, становятся ли решения полезнее для пользователей.

В финансовых сценариях важны детали: необходимо отслеживать, правильно ли модель объясняет условия и выполняет расчёты, использует ли актуальную информацию и понимает ли, когда данных для ответа недостаточно. Вам предстоит превращать эти требования в измеримые показатели и помогать команде принимать решения на основе результатов оценки.

Вы будете работать на стыке аналитики, машинного обучения и продукта — вместе с разработчиками и экспертами в предметной области.

Развитие метрик качества

Вам предстоит определять, что означает хороший результат для разных AI-сценариев, и разрабатывать методы его измерения. Нужно будет учитывать точность, полноту и полезность ответов, а также корректность действий агентов и успешность решения пользовательской задачи.

Подготовка данных и организация разметки

Вы будете собирать оценочные наборы из типичных запросов, сложных случаев и найденных ошибок. Вместе с экспертами — готовить инструкции для разметчиков, разбирать спорные оценки и проверять согласованность разметки. Важно, чтобы наборы отражали реальные сценарии использования и позволяли замечать существенные изменения качества.

Оценка изменений и приёмка релизов

Вам предстоит сравнивать версии моделей, промптов и агентских сценариев, проверять статистическую значимость результатов и находить ухудшения на отдельных группах запросов. Результатом работы станут понятные выводы: что улучшилось, какие проблемы остались и что стоит исправить перед запуском.

Исследование ошибок и проверка гипотез

Вы будете разбирать неудачные ответы и действия агентов, искать причины ошибок в модели, контексте, поиске информации или работе инструментов. На основе анализа — предлагать улучшения вместе с командой и проверять их эффект, сопоставляя результаты офлайн-оценки с поведением пользователей и продуктовыми метриками.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

* Используете Python для анализа данных и автоматизации задач, пишете запросы на SQL
* Понимаете методы математической статистики: можете выбрать способ сравнения и корректно интерпретировать эксперимент
* Готовы исследовать текстовые данные, внимательно разбирать отдельные примеры и находить за ними системные проблемы
* Интересуетесь AI-инструментами и LLM-моделями, хотите разбираться в причинах их ошибок

ООО "ГСП Ремонт" – производственная компания группы "Газстройпром". Мы обладаем многолетним опытом участия в реализации проектов ПАО «Газпром» в качестве исполнителя и координатора по строительству, реконструкции, техническому перевооружению, техническому обслуживанию и ремонту объектов добычи, переработки, хранения и транспортировки газа.

В нашей компании работают настоящие профессионалы, искренне любящие свое дело, вовлеченные в общий результат - присоединяйтесь к нам!

Мы предлагаем:

• Присоединиться к команде активных, заинтересованных, целеустремленных профессионалов своего дела
• Официальное трудоустройство по ТК РФ с первого дня
• Стабильные выплаты заработной платы дважды в месяц
• Место работы - офис (г. Москва) Проспект Вернадского, 53
• График работы: 5/2, 8 часовой рабочий день пн.-чт. с 8:30 до 17:30, пт. до 16:15
• Заработная плата - оклад + премия
• Расширенный социальный пакет (Премирование по результатам работы, к профессиональным праздникам, материальная помощь к отпуску и значимым событиям в жизни, подарки детям к Новому году)
• Испытательный срок: 3 месяца
• ДМС+стоматология после прохождения испытательного срока

• Заработная плата обсуждается по результатам собеседования

• Анализ бизнес-процессов и требований заказчика
• Разработка моделей данных и правил расчета аналитических показателей, а также, при необходимости, инструкций для пользователей
• Описание бизнес-процессов компании в формате As is и To be
• Разработка новых и развитие существующих дашбордов
• Разработка стратегии оптимизации и выстраивания системы метрик
• Выполнение ad-hoc поручения руководства
• Развитие системы отчетности организации

• Среднее общее образование
• Аналитические способности, умение разбираться и структурировать информацию
• Опыт выстраивания бизнес-процессов и создания метрик к ним
• Желаемый начальный уровень владения: 1C, SQL, VBA
• Желание разбираться в показателях и процессах, находить «узкие места» и выдвигать предложения об оптимизации

• Уверенное пользование: Excel, Power Query, Power Pivot, PowerPoint, Power BI, DAX

• Коммуникабельность, многозадачность, ответственность, пунктуальность, исполнительность

Откликайтесь на вакансию, ждём Вас!