
GigaChat нативно поддерживает аудиозаписи в контексте, что позволяет понимать речь на десятках языков, говорящего и его эмоции, звуки и сцену вокруг, поддерживать живой диалог и вызывать инструменты по голосовой команде. Чтобы развивать эт…
GigaChat нативно поддерживает аудиозаписи в контексте, что позволяет понимать речь на десятках языков, говорящего и его эмоции, звуки и сцену вокруг, поддерживать живой диалог и вызывать инструменты по голосовой команде. Чтобы развивать эти способности, их нужно честно измерять: без надежной оценки нельзя понять, какие данные и решения в обучении двигают качество. Мы ищем эксперта, который возьмет на себя оценку понимания аудио модели. Он будет разрабатывать собственные бенчмарки, разбираться в открытых, сравнивать нас с лидерами индустрии и open-source и находить точки роста. Ему предстоит выстроить систему оценки и команду вокруг нее
отвечать за систему оценки понимания аудио LLM: состав бенчмарков, метрики, протоколы замеров и их воспроизводимость
покрывать оценкой широкий набор доменов: понимание говорящего и эмоций, звуков и акустической сцены, прикладные задачи (распознавание и перевод речи, суммаризация), общий диалог, вызов инструментов
строить оценку на трех уровнях (автоматические метрики, LLM-as-a-Judge, Side-by-Side) и калибровать их друг относительно друга, в первую очередь согласие судьи с людьми
разрабатывать собственные бенчмарки: сбор и разметка данных, дизайн заданий, контроль утечек в обучающие данные
исследовать открытые бенчмарки и добавлять их в контур оценки: проверять разметку и метрики, разбираться с расхождениями с опубликованными результатами
выстраивать эффективный бенчмаркинг больших LLM: быстрые замеры чекпоинтов по ходу обучения и полные прогоны к релизам (ускорение инференса, кэширование, репрезентативные подвыборки)
регулярно замерять лидеров индустрии и open-source модели, вести лидерборд и дашборды
анализировать ошибки модели, находить точки роста и превращать их в задачи для data и training команд
нанимать и вести инженеров и исследователей
уверенное знание Python и PyTorch
опыт построения систем оценки ML-моделей: бенчмарки, метрики, протоколы замеров
опыт оценки LLM автоматическими метриками, через LLM-as-a-Judge и Side-by-Side, понимание ограничений и смещений каждого подхода
понимание задач обработки аудио и речи (ASR, перевод, эмоции, классификация звуков) и метрик их качества
опыт инференса больших моделей (vLLM, SGLang) и распределенных прогонов
знание прикладной статистики: доверительные интервалы, значимость различий, согласованность разметчиков
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.