
Больше об аналитике и метриках Поиска — в видео от Лены, руководителя группы экосистемных исследований.
яндекс На сервисе с: 05.10.26 14:22
<iframe allow="autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture; encrypted-media" frameborder="0" height="315" scrolling="no" src="https://runtime.strm.yandex.ru/player/video/vplvrjxixu4yqmlo2q7x?autoplay=1&mute=1" width="560"></iframe>
Больше об аналитике и метриках Поиска — в видео от Лены, руководителя группы экосистемных исследований.
В Яндексе много разных поисков (квартиры, видео, афиша, врачи, услуги, товары и другие). Они различаются по технологиям, масштабу, качеству, но одно верно: сделать новый поиск — это большой инженерный и продуктовый проект. Мы радикально упрощаем эту задачу и создаём платформу, на которой поиски можно будет запускать или улучшать одним промптом.
Аналитическая команда внутри платформы отвечает за:
* формализацию продуктовых требований от заказчиков о том, как выглядит хорошее ранжирование;
* создание датасетов для валидации и обучения;
* эталонную разметку;
* разработку агентов-разметчиков;
* дизайн логов;
* офлайн- и онлайн-приёмку.
Главное отличие от обычной аналитической работы — мы делаем конвейер аналитики, а не улучшаем отдельные сервисы.
На каждом этапе мы придумываем универсальные критерии качества, которые будут работать сразу для сотен клиентов: как должны выглядеть хорошие датасеты; по каким признакам принимать работу агентов-разметчиков; как убедиться, что пользователи стали счастливее.
Датасеты
Вы будете придумывать, как агентам из логов любого сервиса собрать честный и воспроизводимый набор для оценки: что считать репрезентативным; как не потерять сложные случаи и как понять, что набор вообще способен различать хорошее ранжирование и плохое.
Разметка
Вам предстоит понять, как переводить продуктовый заказ в разметку и какими внешними знаниями должны обладать агенты для хорошей разметки. Кроме того, важно определить, как контролировать качество семантического слоя, из которого берутся эти знания, а также как обеспечить устойчивость разметки к внешним факторам.
Приёмка
Вам нужно будет определять, по каким признакам вообще можно принять новое ранжирование: какие офлайн-метрики предсказывают онлайн-эффект; как построить иерархию метрик для сервиса, который видишь впервые; как отличить настоящее улучшение от артефакта разметки; как извлекать идеи для будущих улучшений из реальных логов.
Больше о бэкенде в Яндексе — в канале Yandex for Backend
* Уверенно пишете на Python и SQL
* Разбираетесь в алгоритмах и структурах данных
* Знаете математическую статистику и умеете проверять гипотезы
* Понимаете, почему важно всегда смотреть на данные
* Работали с поиском или рекомендациями
* Интересуетесь ML-аналитикой
* Знаете, как работать с кодинг-агентами
* Умеете общаться, ясно излагать мысли, понимать и учитывать мнение коллег, убеждать
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.