Наша команда развивает продвинутые способности Alice AI LLM, обучая наши модели решать самые нетривиальные задачи.
Мы фокусируемся на сценариях, где требуются сложные рассуждения, написание качественного кода и уверенное использование инструментов, таких как code sandbox и поиск. Наша ключевая цель — сделать Алису экспертным ассистентом, способным справляться с самыми сложными запросами пользователей.
Развитие рассуждающей модели
Ваша главная задача — учить одну из самых сильных рассуждающих моделей. Возможные задачи: сбор и поддержка пайплайнов генерации сред для RL для новых способностей Алисы; стабилизация RL-обучения нашей рассуждающей модели на масштабе траекторий, состоящих из сотен вызовов тулов; разбор ситуаций, где, как и почему модель ошибается на тяжёлых фактовых запросах, и перевод этого в успешный сигнал для обучения.
Обучение моделей и анализ экспериментов
Вам предстоит работать в RnD-цикле экспериментов над элайнментом рассуждающих моделей — от формирования гипотез до анализа результатов и выбора дальнейших шагов. Вам также нужно будет взаимодействовать с аналитиками для построения стабильных замеров и искать точки роста инфраструктуры — с общей целью обучения лучшей возможной модели.
Поиск новых направлений
Исследования LLM — очень бурно развивающаяся область с постоянно появляющимися моделями, статьями и даже направлениями. В нашей работе важно уметь выделять хорошо масштабирующиеся подходы, которые помогут достичь наших целей. Вы будете экспериментировать с самыми перспективными и свежими идеями.
Больше об ML в Яндексе — в канале Yandex for ML
* Уверенно программируете на Python и внедряли в продакшен исследовательские пайплайны
* Хорошо разбираетесь в LLM и имеете опыт работы в NLP/DL
* Умеете формулировать гипотезы и выстраивать эксперименты для их проверки
* Готовы работать с неопределённостью и выбирать самое важное направление
* Занимались файн-тюнингом или RL больших языковых моделей
* Работали в среде, требующей глубокого ресёрча (например, в AI или quantitative research)
* Собирали сложные бенчмарки для языковых моделей
* Публиковали статьи на тему языковых моделей и/или RL