Machine Learning Engineer (L3) (Python)

Рекламные технологии Яндекса стоят за показами рекламы в Поиске и на площадках Рекламной сети. Через них бизнесы находят клиентов, а пользователи — товары и услуги, которые ищут. Одно из самых быстрорастущих направлений — генеративная реклама. В Яндекс Директе есть нейрообъявления: YandexGPT пишет заголовки и тексты, учитывая запрос пользователя и содержимое сайта рекламодателя.

Наша группа развивает генерацию в рекламе и отвечает за её качество. Мы обучаем модели, которые находят ошибки в сгенерированных объявлениях, улучшаем модели генерации, проверяем гипотезы в A/B-экспериментах и доводим сгенерированные элементы объявлений до рекламного движка и ранжирования.

Обучение фильтрующих моделей

Чтобы до показа доходили только качественные сгенерированные объявления, мы обучаем фильтрующие модели: они находят выдуманные факты, подмену товара или услуги, неграмотные и нерелевантные тексты — и при этом не отсекают хорошие объявления. Вы будете развивать эти модели: собирать разметку с помощью асессоров и LLM, обучать трансформерные классификаторы, подбирать пороги под продуктовую задачу и проверять в A/B-экспериментах, какие ошибки действительно мешают пользователям и рекламодателям.

Добавление информации о генерации в рекламный движок

Сгенерированные заголовки и тексты должны не просто пройти фильтры, но и правильно участвовать в отборе и ранжировании рекламы. Вам предстоит доводить новые сгенерированные элементы объявлений до рекламного движка: передавать в него информацию о генерации, например оценку аплифта от генерации в рантайме, учитывать её в ранжировании и прогнозе кликабельности, а затем в A/B-экспериментах проверять, что реклама стала эффективнее. Чтобы решение дошло до продакшена целиком, важно понимать, как устроен весь пайплайн ранжирования объявлений в движке, и уметь договариваться со смежными командами.

Фактчекинг сгенерированных объявлений

Самая неприятная для пользователя и рекламодателя ошибка генерации — текст, который расходится с сайтом: не та цена, другие условия, обещание, которого нет на странице. Вы будете развивать фактчекинг — проверку того, что сгенерированное объявление соответствует данным рекламодателя и содержимому его сайта. Задача — пройти путь от сбора разметки до моделей, которые находят расхождения, и встроить их в контур качества, чтобы такие объявления не доходили до показа.

Больше об ML в Яндексе — в канале Yandex for ML

* Обучаете трансформерные модели для классификации текстов и доводите их до продакшена: выбираете метрики и пороги под продуктовую задачу, следите за качеством после выкатки
* Хорошо знаете статистику и умеете анализировать данные: проектируете A/B-эксперименты, находите причины изменения метрик, понимаете бизнес-показатели рекламы — кликабельность, конверсию, выручку
* Уверенно используете AI-агентов в повседневной работе: для написания кода, анализа данных и исследований
* Пишете на Python, работаете с PyTorch и SQL, обрабатываете большие объёмы данных в распределённых системах
* Самостоятельно ведёте задачу от гипотезы до эксперимента и выкатки в продакшен

* Работали с дообучением генеративных моделей с подкреплением (RLHF, DPO, GRPO или похожие подходы) и с reward-моделями
* Организовывали разметку данных — инструкции, подбор перекрытия, контроль качества — и применяли LLM для разметки и оценки текстов с проверкой того, насколько их оценки согласуются с человеческими
* Занимались фактчекингом сгенерированных текстов — проверкой их соответствия источнику, например, с помощью NLI-моделей или retrieval
* Знаете ранжирование или прогноз CTR
* Понимаете, как устроены рекламные или поисковые продукты

Привет! Это команда Модели матчинга. Мы развиваем автоматический матчинг товаров в двух направлениях: между товарами Ozon и между товарами Ozon и других маркетплейсов.

Мы решаем сложные технологические задачи на стыке CV/NLP: повышаем полноту матчинга, развиваем мультимодальные модели и ищем новые способы находить соответствия между товарами. При этом наша цель – не исследование ради исследования, а реальные улучшения качества матчинга в production. Мы готовы экспериментировать с новыми подходами и моделями, но важно уметь доводить идеи до работающих решений и оценивать их бизнес-эффект.

У нас разные задачи и направления развития, поэтому мы готовы рассматривать кандидатов с разным опытом и специализацией в CV/NLP. Важнее всего техническая глубина, умение разбираться в сложных проблемах и стремление добиваться практического результата.

Вы будете

• Анализировать текущие проблемы матчинга и находить возможности для улучшения качества моделей.

• Работать над всем циклом ML-разработки: от аналитики и сбора датасетов до обучения, оценки качества и внедрения моделей в production.

• Развивать текстовые, картиночные и мультимодальные модели для матчинга товаров.

• Адаптировать и дообучать LLM/VLM под наши задачи, в том числе исследовать возможности использования этих моделей для разметки данных и улучшения качества матчинга.

• Проектировать эксперименты, проверять гипотезы и оценивать эффект изменений на реальных данных в production.

Примеры задач

• Конкретные задачи будут зависеть от вашего опыта и сильных сторон. С выкаткой моделей в production помогут опытные инженеры.

Нам важно

• Коммерческий опыт в Data Science. Рассматриваем кандидатов с разным уровнем опыта – для нас важнее релевантные навыки и способность решать сложные задачи.

• Опыт решения прикладных ML-задач в одной или нескольких областях: CV, NLP, мультимодальные архитектуры, LLM/VLM.

• Знание Python и опыт работы с данными.

• Умение проводить эксперименты, анализировать результаты и определять, какие изменения действительно улучшают качество решения.

• Готовность брать ответственность за результат, разбираться в сложных технических проблемах и доводить решения до production.

Будет плюсом

• Опыт в матчинге товаров, поиске или информационном поиске (Information Retrieval).

• Опыт работы с LLM/VLM, в том числе их дообучения и использования для разметки данных.

• Опыт проектирования протоколов разметки и формирования качественных обучающих датасетов.

• Участие в ML-соревнованиях или открытых исследовательских проектах.

Мы — команда, которая строит и развивает LLM-агентов для поддержки пользователей и внутренних бизнес-процессов. Делаем решения «под ключ»: от прототипов и экспериментов до промышленных сервисов с мониторингом качества, метриками и стабильной эксплуатацией.

Задачи

• Разрабатывать и развивать LLM-агентов: сценарии, инструменты (tools), оркестрацию, память, маршрутизацию, обработку ошибок и fallback-логики
• Проектировать и внедрять RAG: индексация, эмбеддинги, ретриверы, ранжирование, чанкинг, оценка качества поиска и ответа
• Интегрировать агентные решения в прод: сервисы, API, взаимодействие с Kafka/Redis и другими компонентами инфраструктуры
• Настраивать наблюдаемость и контроль качества: логирование/трейсинг, Langfuse, дашборды, алерты, анализ деградаций
• Проводить офлайн/онлайн-оценку качества: считать precision/recall/F1/F1-macro, строить датасеты, проводить A/B или квазиэксперименты, формулировать гипотезы улучшений
• Участвовать в улучшении пайплайнов данных и экспериментов: подготовка данных, разметка/валидация, хранение и воспроизводимость
• Писать поддерживаемый код: ревью, тесты, документация, CI/CD, участие в архитектурных решениях

Требования

• Уверенный Python (проектирование модулей, типизация, тестирование, работа с API/сервисами)
• Практический опыт работы с LLM/agentic-подходами: промптинг, tool calling, цепочки/графы, управление контекстом, обработка галлюцинаций и ограничений моделей
• Понимание и опыт оценки качества: precision/recall/F1, macro-F1, построение датасетов и интерпретация метрик
• Опыт построения или внедрения RAG (retrieval, embeddings, индексация, ранжирование, чанкинг, оценка retrieval-качества)
• Опыт разработки и эксплуатации сервисов: REST/gRPC, асинхронность, логирование, мониторинг, работа с Git
• Понимание очередей/кэшей/хранилищ (Kafka, Redis или аналоги), опыт интеграций

Будет плюсом

• Опыт с LangGraph / LangChain, Langfuse (трейсинг, промпт-менеджмент, датасеты, evaluation)
• Опыт с YTsaurus или другими распределёнными системами хранения/обработки данных
• Опыт low-code/конструкторов пайплайнов и быстрых прототипов, доведение их до production
• Знание подходов к ранжированию, rerank, hybrid search, query rewriting, guardrails/safety
• Опыт A/B-тестов, построения продуктовых метрик и причинно-следственного анализа
• Опыт работы с контейнеризацией и деплоем (Docker/K8s), CI/CD