
яндекс · 11 июн.
Мы занимаемся задачей нахождения активационной фразы («Алиса»/«Яндекс») в потоке речи. Для этого мы обучаем маленькие нейронные сети порядка 1 млн параметров и оптимизируем их для работы на embedded-устройствах. А ещё:
* Пытаемся сделать Алису более умной и научить её понимать, когда к ней обращаются не только по имени. Например недавно запустили быстрые команды.
* Тренируем большие модели размером в сотни миллионов параметров для улучшения моделей на устройствах.
* Занимаемся задачей выбора правильной колонки в случае, если активировалось несколько. Сейчас появляется всё больше домов с 2+ колонками, а качество активации такое, что часто откликаются все.
Улучшение качества текущих моделей голосовой активации
Вы будете работать над задачами по улучшению текущих моделей голосовой активации, чтобы они пропускали всё меньше ключевых фраз и не активировались, когда не требуется. Для этого нужно будет проверять и внедрять последние статьи, а также придумывать другие подходы для улучшения.
Оптимизация моделей для работы на embedded-устройствах
Для того чтобы модель могла быстро работать на пользовательском устройстве, она должна быть достаточно маленькой и оптимизированной. Оптимизации могут касаться как особенных трюков в тренировках, так и улучшения инференса.
Создание моделей для новых устройств и обучение их новым языкам и фразам
Помимо улучшения уже существующих моделей и устройств, мы активно развиваем новые приложения голосовой активации, создаём модели для новых устройств и адаптируем пайплайны для новых языков. Вам нужно будет заниматься задачами внедрения таких решений: от идеи до продукта.
* Обладаете знаниями и опытом в DL (например, связанным с CV или NLP)
* Умеете писать на Python и С++
* Знаете PyTorch
* Владеете английским на уровне, необходимом для чтения научных статей
* Работали с инфраструктурой Яндекса: Nirvana, YT, YQL, Valhalla
* Обладаете опытом, связанным с работой со звуком