Lead Data Analyst — оценка качества поиска, RAG и агентов

Мы делаем поиск, который отвечает на вопросы, где одного запроса мало: веб-поиск, RAG и агенты, которые решают задачи уровня BrowseComp. Ищем человека, который научит нас честно измерять качество.

Что будете делать

• Метрики, которым можно верить. nDCG, Recall@k и faithfulness — только начало. Нужно доказать, что +2 п.п. на бенчмарке — реальный рост, а не шум: бутстрап по вопросам, мощность, дисперсия между прогонами агента.
• LLM-судьи с известной погрешностью. Судья — тоже модель: у него есть precision, recall и смещения по позиции, длине и self-preference. Вы откалибруете его против людей и решите, где хватит локальной быстрой модели, а где нужна фронтир-модель.
• Golden-сеты, которые не протекают. Многохоповые вопросы в стиле BrowseComp с однозначным ответом и цепочкой доказательств, честное dev/hold-разбиение, защита от переобучения на бенчмарк. Ручная разметка — там, где без неё нельзя.
• Метрики для агента. Агент делает десятки шагов поиска. Как оценить пользу каждого запроса, поймать зацикливание и преждевременный стоп, построить кривую «точность от бюджета» и разложить потери по слоям: ретривал → извлечение фактов → рассуждение → ответ? Готовых решений в индустрии пока нет.

Вам подойдёт, если

• У вас математическое, физическое или инженерное образование.
• 6+ лет в аналитике или DS, из них 3+ — оценка поиска, RAG или LLM.
• Вы уже калибровали LLM-судью.
• Статистика, Python и SQL — ваш родной язык.

Плюсом будет опыт с агентными бенчмарками (BrowseComp, MuSiQue, GAIA), свой датасет или статья по IR/NLP. Если вы читаете статью про LLM-as-a-judge и первым делом ищете доверительные интервалы — нам по пути :)

Что мы даём

Задачи, которые в индустрии пока никто толком не решил. GPU и бюджет на разметку. Маленькую сильную команду в управление.