
Как сделать языковую модель качественнее при том же бюджете вычислений? В GigaChat Pretrain мы исследуем альтернативы стандартному вниманию: Gated DeltaNet, Kimi Delta Attention, Mamba и другие линейные и рекуррентные блоки. За три месяца…
Как сделать языковую модель качественнее при том же бюджете вычислений? В GigaChat Pretrain мы исследуем альтернативы стандартному вниманию: Gated DeltaNet, Kimi Delta Attention, Mamba и другие линейные и рекуррентные блоки. За три месяца вы разберёте перспективные подходы, выберете базовую архитектуру и проверите собственное изменение. Это исследовательская задача с неопределённым результатом: важно не только найти улучшение, но и понять, какие идеи работают, где и почему.
Разбирать свежие статьи и выбирать перспективные идеи для экспериментов.
Реализовывать и менять линейные и рекуррентные блоки языковых моделей.
Сравнивать качество, скорость и расход памяти при сопоставимом бюджете вычислений.
Проводить абляции и выяснять, какие изменения стоит масштабировать.
Уверенное владение Python и PyTorch.
Знакомство с распределённым обучением.
Понимание глубокого обучения и устройства Transformer.
Умение читать статьи, формулировать гипотезы и проверять их экспериментально.
Будет плюсом
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.