ML backend engineer (Python, FastAPI)

Обязанности

• Развитие ML-направления и управление командой
• Построение и развитие внутренних пайплайнов для разработки ML моделей (Feature Store, Experimentation Platform, Online and Offline Inference)
• Проведение код-ревью и внедрение стандартов качества кода
• Разработка, деплоймент, поддержка и мониторинг классификационных и регрессионных моделей: Price Elasticity Model, Early Repayment Prediction Model, Loan Disbursement Prediction Model, Interest Rate Uplift Model, Payment Date Recommendation, Application Scoring, Behavioral Scoring, Income Estimation, Antifraud Scoring, Collection Scoring и др.
• Исследование и интеграция новых источников данных для расширения признакового пространства
• Взаимодействие со стэйкхолдерами и смежными командами (Data Engineers, DevOps, Data Analysts), выявление бизнес-потребностей

Требования

• Наличие опыта в DS / ML от 3 лет
• Наличие опыта управления командой от 2 лет
• Умение декомпозировать задачи, планировать и поддерживать работу команды
• Глубокое понимание классических ML алгоритмов
• Опыт решения ML задач: Uplift-моделирование, бинарная классификация, регрессия
• Уверенное владение Python и соответствующими библиотеками: catboost, xgboost, lightgbm, statsmodels, scikit-learn, optuna, FastAPI, git, Airflow
• Уверенное владение инструментами для анализа и визуализации данных: SQL (GreenPlum), pandas, seaborn, matplotlib
• Уверенное знание теории вероятности и статистики

Условия

• Возможность решать интересные прикладные задачи с непосредственным влиянием на бизнес-результат по множеству банковских продуктов: Cash Loan, Mortgage, Car Loan, Loans for Medium and Small Enterprises
• Условия для роста и развития:
• возможность участия в командировках;
• Работа с различными доменами данных: соцдем, карточные транзакции, доходы, кредитная история, телеком, финансовая отчетность компаний и др.
• Годовой бонус

Мы развиваем машинное обучение в Поиске Яндекса. Наша команда заботится о качестве поисковой выдачи: создаём модели ранжирования и персонализации, пробуем новые подходы и повышаем полезность поиска для миллионов пользователей.

Поиск сегодня должен быстро подстраиваться под изменения в поведении пользователей и появление нового контента. Мы охватываем весь жизненный цикл ML‑моделей: разрабатываем новые признаки, обучаем модели, проводим эксперименты, дообучаем их онлайн и внедряем решения в продакшен.

Наша цель — поддерживать актуальность поисковой выдачи, учитывать интересы пользователей и оперативно реагировать на изменения в данных.

Развитие моделей ранжирования

Вы будете улучшать модели, определяющие порядок документов в поисковой выдаче: разрабатывать новые признаки, экспериментировать с архитектурами моделей, обучать их и внедрять лучшие решения в продакшен.

Персонализация поиска

В ваши обязанности войдёт работа над моделями персонализации, генерации кандидатов и ранжирования, чтобы поисковая выдача лучше учитывала интересы пользователя. Вам предстоит обучать модели, проводить A/B‑эксперименты и анализировать их результаты.

Адаптивность поисковой выдачи

Вы будете развивать решения, которые позволят поисковой выдаче оставаться актуальной — даже когда меняется поведение пользователей и появляются новые документы. Вам предстоит дообучать модели в онлайн‑режиме, совершенствовать решения для холодного старта и ускорять адаптацию поиска к изменениям в данных и интересам пользователей.

Больше об ML в Яндексе — в канале Yandex for ML

* Разрабатывали и обучали ML‑модели
* Владеете Python на уверенном уровне
* Хорошо понимаете классические алгоритмы и структуры данных
* Умеете работать с данными и критически оценивать результаты экспериментов
* Хотите делать продукт, которым ежедневно пользуются миллионы людей

* Работали с задачами ранжирования или рекомендательными системами
* Проводили A/B‑эксперименты и внедряли модели в продакшен
* Работали с высоконагруженными системами
* Знакомы с современными подходами в RecSys и NLP

<iframe width="560" height="315" src="https://runtime.strm.yandex.ru/player/video/vplvxk3zmhflhz5j2y2a?autoplay=1&mute=1" allow="autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture; encrypted-media" frameborder="0" scrolling="no"></iframe>

Мы развиваем Нейро — систему моделей для построения ответов LLM с использованием поиска как источника информации и обогащений ответа. Мы внедрили такую систему в Поиск Яндекса и сейчас стоим перед новым вызовом: научиться решать сложные сценарии с использованием Поиска, которые возникают в чате с Алисой.

Представьте запрос «составь план путешествия, чтобы увидеть косаток летом». Чтобы построить хороший ответ на него, нужны многостадийный поиск, использование картинок и данных от отелей, хорошая структура и высокая достоверность. И таких запросов — сотни тысяч из разных аспектов.

Наша команда отвечает за Align-модели Нейро: обучает SFT, исследует самые новые алгоритмы RL, максимизирует реворды, внедряет длинные контексты и MoE. Также важна часть с оптимизациями моделей: Нейро используют десятки миллионов человек, и чтобы держать такую нагрузку, нужно постоянно искать и внедрять новые методы оптимизации. Сейчас перед нами стоят новые вызовы, и мы ищем в команду сильного DL-разработчика, знающего LLM и умеющего писать код.

Исследование подходов RL

Так как Нейро должен не только писать тексты, но и использовать картинки, видео, подходящую структуру, мы используем десятки реворд-моделей для оптимизации разных аспектов. Сейчас наши основные методы — DPO и CE-RL, но они несовершенны, и мы хотим обучаться эффективнее. Нужно будет читать статьи, реализовывать новые методы, а также совершенствовать текущие.

Оптимизации моделей

Раскатка Нейро на миллионы пользователей — это очень дорого, а когда речь начинает идти о многостадийных поисках, то числа становятся совсем заоблачными. Нужно исследовать, реализовывать и иногда дебажить квантования, дистилляции, спекдеки. А потом внедрять их без потерь качества.

Поиск новых направлений

Когда делаешь новый продукт, возникает множество челленджей, и важно среди них находить точки роста, которые потом конвертируются в задачи. Например, нам не хватает более длинного контекста, не хватает умения «видеть» картинки. Когда такая точка роста находится, нужно превратить её в задачу, договориться со смежниками про совместные действия и довести эту задачу до конца в вопросах не только разработки, но и менеджмента. Такие задачи отлично помогают расти в сторону лида или техлида, и возникают они регулярно.

Подробнее про Alice AI

Больше об ML в Яндексе — в канале Yandex for ML

* Понимаете, как устроены LLM, как они обучаются и какие у них степени свободы
* Знаете классические DL и ML
* Пишете код на Python
* Читаете статьи, готовы к сложным вызовам и амбициозным задачам

* Работали с RL
* Реализовывали методы оптимизации или продакшн-инференса моделей