ML-разработчик в команду ускорения инференса

Alice AI LLM всё глубже проникает в сервисы компании и решает самые разнообразные задачи, принося пользу людям. Каждое внедрение ставит перед разработчиками уникальные вызовы, связанные с качеством и скоростью работы ML-моделей. Но для каждого запуска неизменно одно: инференс моделей в production стоит очень дорого. В зависимости от аудитории и нагрузки в сервисе может понадобиться от десятков до тысяч самых современных GPU. Оптимизация даже десятков процентов ресурсов на таких объёмах уже представляет значимую ценность.

Подробнее про общую схему ускорения инференса, а также про методы можно прочитать в посте на Хабре «Ускорение инференса LLM».

Мы ищем инженера-исследователя с опытом чтения и реализации статей, готового экспериментировать и внедрять методы ускорения инференса для современных и быстро меняющихся архитектур LLM.

Непрерывный разбор статей из ресёрча

В первую очередь предстоит глубоко ознакомиться с серией статей по теме (более 20 публикаций), систематизировать их и зафиксировать самые перспективные.

Применение методов для Alice AI LLM

Необходимо провести множество итераций экспериментов по проверке гипотез для Alice AI LLM, чтобы перейти к генерации и реализации новых подходов. Также нужно будет подтвердить практическую применимость методов: замерить качество и ускорение.

Разработка универсальных инструментов

И наконец, предстоит создать общее решение, которое будут переиспользовать ML-инженеры во всём Яндексе.

Больше об ML в Яндексе — в канале Yandex for ML

* Работали с современными LLM и понимаете, как устроена их архитектура
* Пишете на Python, имеете опыт разработки на Torch
* Глубоко разбираетесь в NLP
* Знакомы с пайплайном инференса генеративных моделей, знаете такие оптимизации, как KV-кеширование
* Понимаете, как изменяются вычисления при изменении batch_size
* Разбираетесь в пользовательских требованиях к API моделей: RPS, latency per token/sample, GPU VRAM, SM utilization

* Уверенно владеете C++ и знакомы с программированием на CUDA