Контур — экосистема для бизнеса. Наши сервисы помогают каждой третьей компании России делать рабочие процессы проще и эффективнее: вести бухгалтерию, сдавать отчетность в госорганы, обмениваться документами без бумаги, общаться друг с другом на удаленке и многое другое. С нами жизнь 3,1 миллионов предпринимателей и их сотрудников становится легче.
О направлении
В команде центра ИИ работает более 100 человек: ML-разработчики, разработчики и аналитики данных, DevOps-инженеры, QA, системные аналитики, product- и project-менеджеры. Свое железо (A100/H100/B300) и асессорская служба позволяют нам не ограничивать себя при работе с чувствительными данными. А крутая инфраструктурная команда создает, улучшает и развивает инструменты MLOps на любой вкус от ресерча до прода.
О команде
Мы развиваем Контур.LLM — собственную платформу, которая предоставляет доступ к большим языковым моделям через API.
Наша цель — развивать ИИ-инфраструктуру на собственных серверах, чтобы продукты Контура могли использовать современные модели без зависимости от внешних провайдеров. Для этого мы работаем над производительностью моделей, увеличиваем пропускную способность и оптимизируем затраты на вычисления.
Технологии
- Языки программирования и ML: Python, PyTorch.
- LLM-инференс: vLLM, LMCache.
- Контейнеризация и оркестрация: Docker, Kubernetes, Helm.
- Инфраструктура: Linux, NVIDIA GPU.
- Мониторинг: Prometheus, Grafana, Kibana.
Задачи
- Развивать инфраструктуру LLM-инференса, обеспечивать стабильную и быструю работу моделей в production.
- Оптимизировать производительность вывода, работать с пакетной обработкой запросов, KV-cache, prefill и decode, а также с механизмами ускорения генерации.
- Исследовать и внедрять способы эффективного использования GPU, снижения задержек и увеличения пропускной способности сервисов.
- Профилировать и тестировать производительность моделей, находить узкие места и оценивать эффективность технических решений.
- Развивать мониторинг и инструменты наблюдаемости, обеспечивать надежную работу LLM-сервисов под нагрузкой.
- Взаимодействовать с продуктовыми и инфраструктурными командами, помогать находить решения для производительности и стабильности LLM API.
Мы ожидаем
- Практический опыт развертывания и эксплуатации LLM-сервисов в production.
- Глубокое понимание архитектуры LLM-инференса и принципов работы современных систем вывода.
- Опыт работы с vLLM и понимание механизмов PagedAttention, continuous batching, prefix caching и KV-cache.
- Знание подходов к оптимизации инференса, включая квантизацию, speculative decoding, управление prefill и decode, а также вычислительными ресурсами.
- Понимание особенностей работы LLM на GPU, умение анализировать производительность, задержки и использование памяти.
- Уверенные навыки работы с Python, PyTorch, Linux, Docker и Kubernetes.
- Опыт профилирования и бенчмаркинга LLM-инференса, понимание метрик TTFT, TPOT и пропускной способности.
- Умение самостоятельно разбираться в сложных технических проблемах, находить причины снижения производительности и предлагать решения.
- Готовность участвовать в поддержке production-сервисов и работать с требованиями к их надежности.
Будут плюсами
- Опыт работы с SGLang, TensorRT-LLM или Triton Inference Server.
- Опыт разработки CUDA- и Triton-ядер, а также использования NVIDIA Nsight.
- Опыт распределенного инференса, включая tensor, pipeline и expert parallelism.
- Опыт работы с Mixture of Experts и MoE, а также с моделями с длинным контекстом.
- Участие в open source проектах vLLM, LMCache, SGLang или аналогичных.
Мы предлагаем
- Уровень дохода, который зависит от ваших технических знаний и навыков. Регулярно пересматриваем зарплаты с учетом профессионального роста. Финансовые бонусы тоже есть.
- Заботу о вашем комфорте. Можете работать удаленно, гибридно или в офисе, в любом случае предоставим технику и все необходимое. Если вам по душе работать из офиса — обеспечим удобным местом, зонами отдыха, кухней с полезными перекусами.
- Сильное инженерное комьюнити. Регулярно проводим внутренние технические конференции, обмениваемся опытом между командами. Вы всегда найдете, с кем посоветоваться.
- Возможность сменить продукт, команду или предметную область внутри компании. Поддерживаем развитие в любом направлении.
- Общение на «ты» и максимум горизонтальных связей в коллективе, чтобы быстрее договариваться и решать рабочие задачи.
- Возможность делиться экспертизой. Помогаем выступать на конференциях, участвовать в подкастах или видео, писать статьи.
- Поддержку профессионального развития. Организуем внутреннее и внешнее обучение.