яндекс

Лид аналитики в Агентский Поиск

AI-агент не может ограничиться просто списком ссылок. Ему необходимо искать сведения для решения конкретной задачи, проверять источники и собирать информацию для ответа — порой в несколько шагов. Мы совершенствуем поиск, который помогает А…

яндекс На сервисе с: 29.09.26 13:29

Зарплата не указанаНе указана странаЛокация не указана

AI-агент не может ограничиться просто списком ссылок. Ему необходимо искать сведения для решения конкретной задачи, проверять источники и собирать информацию для ответа — порой в несколько шагов. Мы совершенствуем поиск, который помогает Алисе отвечать на вопросы в чате и Поиске, а также развиваем Yandex Search API для внешних AI-продуктов.

Вам предстоит работать в небольшой команде аналитиков-разработчиков над аналитическим направлением Агентского Поиска. Нужно будет определять систему оценки качества, выбирать приоритеты исследований и совместно с ML-командами внедрять подтверждённые улучшения в релиз.

Ваша работа будет проходить на стыке трёх направлений: анализа данных, поисковых технологий и языковых моделей. Задачи разнообразны — от разбора ошибок и работы с исследовательским кодом до оценки изменений в продукте вместе с ML-инженерами и разработчиками.

Развитие системы оценки качества

Вам предстоит создавать метрики качества Агентского Поиска — их рост приведёт к улучшению качества ответов Алисы. Нужно будет проверять метрики на экспертных бенчмарках и наладить регулярную оценку качества в продакшене.

Анализ потерь в обработке запросов

Вы будете разбирать сложные запросы и цепочки поисковых действий агента. Ваша задача — выяснить, почему нужная информация не попала в ответ: например, страница отсутствует в поисковой базе, документ потерян при ранжировании или ключевой факт не включён в контекст. На основе анализа нужно предлагать эксперименты и помогать другим командам определять приоритеты.

Исследование методов поиска и ранжирования

Вам нужно будет изучать новые способы отбора документов для AI-агентов, создавать прототипы, сравнивать разные варианты и вместе с командой доводить перспективные решения до релиза.

Баланс контекста

Вы будете оценивать фрагменты документов, которые получает языковая модель, и искать способ сохранить нужные факты, уменьшить объём текста и не исказить смысл.

Улучшение качества Yandex Search API

Вам предстоит сравнивать Yandex Search API с другими поисковыми API — использовать открытые бенчмарки и сценарии команды, чтобы результаты были воспроизводимыми. Нужно выяснять, почему качество отличается, формулировать на этой основе проверяемые гипотезы и оценивать, как можно улучшить внешние AI-продукты. При этом важно учитывать условия эксперимента: используемые модели, доступный контекст, количество поисковых вызовов и время ответа.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

* Самостоятельно выстраивали оценку качества ML-системы или продукта
* Уверенно пишете на Python: можете самостоятельно собрать эксперимент, обработать результаты и сделать расчёты воспроизводимыми
* Владеете SQL для получения и анализа данных
* Знаете теорию вероятностей и математическую статистику
* Умеете спланировать эксперимент, оценить неопределённость результата и интерпретировать результаты A/B-теста
* Понимаете основы оценки ML-моделей: зачем разделять данные, как возникают утечки и почему улучшение на тестовой выборке может не повториться в продукте
* Умеете разбираться в задаче без готовой постановки: выделить проблему, сформулировать проверяемую гипотезу, выбрать метрики и реализовать проверку
* Можете объяснить команде выводы и ограничения исследования, предложить следующий шаг и довести работу до решения, даже если первая гипотеза не подтвердилась

* Работали с информационным поиском, ранжированием, семантическим поиском или RAG-системами, которые формируют ответ на основе найденных источников
* Создавали бенчмарки и разметку, анализировали действия AI-агентов или использовали языковые модели для оценки качества с проверкой по человеческим оценкам
* Работали с большими данными и превращали исследовательские прототипы в инструменты, которыми регулярно пользуется команда
* Знакомы с агентными бенчмарками, например BrowseComp или NEEDLE, либо с оценкой полноты и достоверности контекста

Похожие вакансии Аналитика данных

hh.ru
Зарплата не указанаРоссияМоскваГибрид

Команда продаж коммерческой дирекции B2C выстраивает долгосрочные отношения как с частными, так и с корпоративными клиентами, предлагая комплексный сервис через постоянно растущую сеть винотек SimpleWine, удобную интернет-витрину SimpleWine.ru, современное мобильное приложение SimpleWine и премиальный сервис SimplePrivé, что позволяет создавать персонализированный подход к каждому клиенту и предоставлять максимально комфортные условия для покупок и сотрудничества.

Зона ответственности:

Выполнение роли аналитика клиентских данных с фокусом на оценку маркетинговых активностей и поиск точек роста ключевых показателей.

  • Построение и развитие аналитических инструментов для мониторинга и планирования маркетинговых активностей.
  • Анализ эффективности клиентских коммуникаций в различных каналах: SMS, push-уведомления, email-рассылки, телемаркетинг, баннеры в личном кабинете.
  • Поиск инсайтов в данных и формирование гипотез для A/B-тестирования.
  • Многофакторный анализ причин роста или снижения бизнес-показателей.
  • Подготовка клиентской аналитики по запросам бизнеса и внутренних заказчиков.
  • Кросс-функциональное взаимодействие со смежными подразделениями в рамках проектов.

Необходимые компетенции:

  • Опыт работы в аналитике от 1 года. Опыт анализа клиентских данных будет преимуществом.
  • Высшее техническое образование.
  • Уверенное владение SQL и Excel, базовые навыки Python.
  • Опыт работы с BI-инструментами будет преимуществом.
  • Системное мышление, внимательность к деталям и умение выстраивать эффективную коммуникацию.

Мы предлагаем:

  • Работу в стильном офисе, где можно, в том числе, насладиться эстетикой современного искусства.
  • График работы: 5/2, гибридный формат (3 дня в офисе).
  • Привлекательный уровень дохода.
  • Заботу о здоровье: широкую программу ДМС с большим выбором клиник, стоматологией, госпитализацией, полисом для выезда за рубеж, возможностью получить скидки на медицинскую страховку для родственников.
  • Обучение на внутренних программах в корпоративном университете с первых дней работы.
  • Возможность учиться на внешних курсах и системно развивать свои компетенции для дальнейшего развития в компании.
  • Развитие экспертизы в продукте (в вине, крепком алкоголе, аксессуарах) для новичков и для профессионалов с помощью регулярных дегустаций, курсов от наших экспертов и бренд-амбассадоров.
  • Скидки на продукцию компании, компенсацию мобильной связи, программы корпоративных привилегий (скидки на фитнес-клубы, рестораны и т.п.).
  • Доплату до полного оклада во время отпусков.
  • Подарки на новый год сотрудникам и их детям, подарки на день рождения.
  • Групповые занятия фитнесом в офисе (йога, пилатес, цигун, функциональные тренировки), а также у нас есть корпоративные футбольная, волейбольная команды, бадминтон.
  • У нас успешно работает геймификация, где каждый сотрудник может зарабатывать баллы за вовлеченность в обучение и тратить их в магазине подарков.
hh.ru
островок.ostrovok!tech

Product Analyst (Junior)

островок.ostrovok!techНа сервисе с: 05.10.26 18:34
Зарплата не указанаРоссияМоскваУдалёнка

Обязанности

  • Исследовать поведение пользователей и искать точки роста продукта на данных: например, как фото, описания, доступность номеров влияют на конверсию и бронирования;
  • Оценивать потенциальный эффект продуктовых инициатив и готовить рекомендации, которые помогают команде решить, что делать в первую очередь;
  • Участвовать в A/B-тестах на всех этапах: помогать с дизайном, считать результаты, формулировать выводы. Там, где тест невозможен, оценивать эффект методами causal inference;
  • Следить за «здоровьем» продуктовых метрик: строить дашборды, настраивать алерты, разбираться в причинах аномалий;
  • Оформлять исследования в отчёты, понятные менеджменту, и делиться находками с командой;
  • Автоматизировать регулярную отчётность и выгрузки, чтобы команды могли сами отвечать на типовые вопросы без участия аналитика.

Требования

  • Опыт от 1 года в продуктовом анализе;
  • SQL: джойны, агрегации, подзапросы и CTE, оконные функции;
  • Python для анализа данных: pandas, numpy, визуализация (matplotlib, seaborn или plotly), статистические тесты (scipy, statsmodels);
  • Знание теории вероятностей и математической статистики: проверка гипотез, p-value, доверительные интервалы, ошибки I и II рода;
  • Понимание, как устроен A/B-тест и как интерпретировать его результаты;
  • Умение собрать простой ETL-процесс для внутреннего запроса команды;
  • Опыт использования AI-инструментов в анализе: генерация гипотез, ревью кода, EDA. При этом результат проверяется самостоятельно, и есть понимание, когда на AI полагаться нельзя;
  • Умение структурно излагать мысли: сначала главный вывод, затем аргументы.

Будет плюсом

  • Опыт дизайна A/B-тестов, знакомство с CUPED;
  • Знакомство с causal inference или ML;
  • Tableau или другая BI-система;
  • Опыт в e-commerce, маркетплейсах или travel;
  • Профильное образование (математика, статистика, прикладная математика и информатика, экономика) в ведущих вузах: ВШЭ, МФТИ, МГУ, СПбГУ и других.
hh.ru
сравни

Продуктовый аналитик

сравниНа сервисе с: 05.10.26 18:35
Зарплата не указанаРоссияМоскваУдалёнка

Чем предстоит заниматься:

  • Сбор и подготовка данных: настройка источников, верификация и поддержка качества данных;
  • Работа с web и app событийными данными;
  • Анализ продуктовой воронки;
  • Отчётность и дашборды: автоматизация регулярных отчётов для продуктовых команд;
  • Кросс-функциональное взаимодействие: работа с менеджерами, разработчиками и маркетингом для принятия решений на основе данных;
  • Оптимизация процессов: предложение улучшений в продукте на основании анализа поведения пользователей и метрик
Мы ждем, что вы:
  • Имеете опыт работы от 2 лет;
  • Владеете SQL (оптимизация запросов, работа с большими объемами данных) и PostgreSQL;
  • Имеете опыт построения ETL-конвейеров (Airflow, dbt или аналоги);
  • Работаете с BI-инструментами;
  • Владеете Python;
  • Умеете собирать, валидировать и анализировать веб- и мобильные событийные данные (включая Яндекс Метрику).

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.