Data Scientist (Модели оценки качества), Диалоговый ИИ и ML сервисы

Data Scientist (Модели оценки качества), Диалоговый ИИ и ML сервисы
#удаленка #middle
Компания: OZON

🔹Вы будете
-Погружаться в особенности создания наших проектов.
-Частью центра принятия решений о релизе моделей.
-Создавать и улучшать процессы вокруг оценки ML-решений.
-Проводить аудит поведения всех типов моделей отдела.
-Заботиться о качестве артефактов для построения и оценки моделей.
-Работать с LLM и LLM apps.
-Разрабатывать решения для реалтайм анализа динамики ведения диалога агентами с пользователем.
-Создавать инструменты для автоматической валидации решений на основе LLM (в том числе симуляции взаимодействия с агентами).
-Прототипировать ML-решения для проверки гипотез о влиянии на метрики.
-Задавать стандарты в оценке поведения и качества ответов агентов.

🔹Нам важно
-Опыт работы Data Scientist от 3х лет.
-Опыт работы с NLP от 2 лет.
-Практический опыт проведения процедур оценки LLM-решений.
-Опыт работы с агентами для консультации пользователей.
-Понимание ограничений LLM.
-Умение писать продакшн-код.
-Подготовка понятных отчетов.
-Умение объяснить сложные метрики понятным языком.

Откликнуться

Python Job в Telegram | в VK | в Max