Старший разработчик LLM Inference Optimization
— проводить нагрузочное тестирование моделей по запросам продуктовых команд и оптимизировать их под конкретные сценарии использования;
Старший разработчик в команду LLM Inference Optimization в ••••••••
Наша команда развивает направление оптимизации инференса LLM на GPU ••••••••. Мы повышаем эффективность использования оборудования и помогаем продуктовым командам запускать модели с учётом профиля нагрузки, качества и метрик производительности.
Что предстоит делать:
— проводить нагрузочное тестирование моделей по запросам продуктовых команд и оптимизировать их под конкретные сценарии использования;
— развивать методику оценки производительности LLM на нашем оборудовании: бенчмарки, инструменты и мониторинг;
— регулярно замерять производительность, отслеживать выход новых моделей и поддерживать таблицу результатов;
— тестировать новые GPU и сопровождать их настройку вместе с командами инфраструктуры и платформы инференса;
— масштабировать оптимизации на весь парк моделей: спекулятивное декодирование, мульти-LoRA, распределённый инференс, переход на новые инференс-бэкенды;
— доводить изменения до продакшена по циклу - профилировать, оптимизировать, тестировать, внедрять при подтверждённых метриках;
— запускать LLM-модели с использованием платформы инференса.
Кого мы ищем:
— оптимизировали LLM-модели с учётом профиля нагрузки;
— работали с инференс-фреймворками LLM: vLLM, SGLang, TensorRT-LLM и другими, запускали и настраивали их, подбирали параметры;
— знаете, как устроен LLM-инференс, и понимаете методы оптимизации: prefill и decode, KV-кеш, batching, спекулятивное декодирование, квантизация;
— знаете принципы работы GPU: память, пропускная способность, утилизация, NVLink, конфигурации с несколькими GPU;
— профилировали GPU и работали с инструментами для мониторинга;
— проводили нагрузочное тестирование и бенчмаркинг LLM-моделей: latency, TTFT, TPOT, throughput, и тд, умеете корректно сравнивать результаты и делать выводы;
— работали с Docker, Kubernetes, метриками и дашбордами Prometheus, Grafana;
— готовы внедрять изменения в продакшен, поддерживать их и объяснять результат продуктовым командам.
Будет плюсом
— писали или оптимизировали CUDA-кернелы, понимаете SIMT и архитектуру GPU NVIDIA;
— внедряли спекулятивное декодирование, мульти-LoRA-сервинг или распределённый инференс;
— работали с роутингом и балансировкой с учётом KV-кеша: llm-d, NVIDIA Dynamo, Mooncake или аналогами;
— знаете C++ или Go;
— следите за статьями и проектами с открытым исходным кодом по ускорению инференса и быстро проверяете идеи на практике.
Условия сотрудничества:
— Москва
— расширенная забота о здоровье: ДМС, страхование жизни, онкострахование;
— сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких;
— корпоративный спорт: групповые тренировки, велбиинг-приложение;
— спецпредложения от партнёров и скидки на сервисы ••••••••: бронирование жилья, услуги продвижения, ипотечное страхование;
— компенсация питания;
— инженерная свобода для реализации масштабных задач;
— продуктовый подход к инфраструктуре, который базируется на метриках;
— сильное инженерное комьюнити, готовое поддержать и поделиться опытом;
— эффективные инструменты для роста и развития: матрица компетенций, внутреннее обучение, менторство и обмен опытом.
Как откликнуться:
— ••••••••
Лучшие вакансии от работодателей мечты на ••••••••
••••••••
Похожие вакансии Специалист по внедрению AI
Привет! Мы — команда EBSH. Развиваем бизнес на маркетплейсах, имеем собственный склад и фулфилмент.
Ищем технического специалиста, который возьмёт на себя развитие IT-инфраструктуры, автоматизацию бизнес-процессов и внедрение искусственного интеллекта в работу компании.
Основные задачи
- IT-инфраструктура: администрирование и развитие внутренних программ, сервисов, серверов и баз данных.
- Bitrix24:развитие корпоративного портала, настройка бизнес-процессов, автоматизаций и интеграций.
- AI и разработка: создание AI-агентов, ассистентов, собственных приложений и инструментов для автоматизации работы подразделений.
- Интеграции: обеспечение взаимодействия между внутренними системами, маркетплейсами и внешними сервисами.
- Техническая поддержка:поиск и устранение сбоев, развитие существующих программных решений, консультация сотрудников.
Наши ожидания
- Опыт работы в IT, автоматизации или разработке от 1 года.
- Уверенное знание Bitrix24.
- Практический опыт создания решений на базе AI (агенты, ассистенты, приложения).
- Знание Python, JavaScript или других языков программирования.
- Понимание API, баз данных, интеграций и серверной инфраструктуры.
- Самостоятельность, техническая любознательность и умение доводить решения до рабочего результата.
Будет преимуществом: опыт работы с API маркетплейсов, Linux/VPS, n8n, Make и Google Sheets API.
Условия
- Удалённый формат работы.
- График 5/2, 9:00–18:00.
- Уровень дохода обсуждается по результатам собеседования.
Мы ищем специалиста на стыке AI, бизнеса и внутренних коммуникаций. Это не просто «человек, который пишет промпты», это внутренний консультант и евангелист ИИ. Тебе предстоит находить точки внедрения, подбирать инструменты, запускать пилоты и помогать командам применять ИИ в ежедневной работе
Чем предстоит заниматься:
- Исследовать бизнес-процессы подразделений, проводить интервью с заказчиками, выявлять и приоритизировать AI-кейсы. Формулировать гипотезы автоматизации, оценивать потенциал, сложность, риски и ROI.
- Подбирать необходимый инструментарий: LLM, ML-модели, API, RAG, агенты, OCR, speech-to-text, no-code/low-code-решения. Разрабатывать, тестировать и оптимизировать промпты, шаблоны, цепочки промптов и guardrails. Оценивать качество ответов моделей: проводить A/B-тесты, настраивать метрики, контролировать галлюцинации и релевантность. Вести библиотеку промптов, кейсов, лучших практик и внутреннюю базу знаний по AI.
- Создавать прототипы, совместно с IT внедрять решения во внутренние системы.
- Обучать сотрудников, проводить воркшопы, демо и консультации; быть AI-амбассадором внутри компании. Следить за трендами, тестировать новые модели и инструменты, предлагать улучшения. Масштабировать успешные пилоты на другие подразделения и формировать внутреннее AI-сообщество.
- Соблюдать политики ИБ, конфиденциальности и этики, работать с юридическими и комплаенс-рисками.
Что мы ожидаем:
- Умение анализировать бизнес-процессы, считать эффект, ROI и стоимость владения решением. Опыт запуска AI-пилотов или автоматизации от идеи до результата.
- Понимание LLM: архитектура, токенизация, контекстное окно, temperature, embeddings, fine-tuning, RAG, function calling, агенты. Опыт работы с моделями OpenAI, Anthropic, Google, open-source (Llama, Mistral, Qwen и др.) через API и интерфейсы.
- Практика с Python, SQL, REST API, JSON; понимание LangChain/LlamaIndex, vector DB.
- Знание no-code/low-code автоматизации: n8n, Make, Zapier, Power Automate и аналоги.
- Базовое понимание ML: типы задач, метрики, переобучение, A/B-тесты.
- Знание основ ИБ и комплаенса: 152-ФЗ/GDPR, prompt injection, утечки данных, галлюцинации.
Будет плюсом
- Опыт в крупной компании или регулируемой отрасли.
- Портфолио pet-projects, публикации, сертификаты по AI.
- Опыт построения внутреннего AI-сообщества.
- Знание MLOps/LLMOps, Docker, Git.
Что мы предлагаем:
- Полную удаленку или гибрид в одном из трех IT-офисов
- ДМС со стоматологией после 3 месяцев работы, корпоративные скидки по программе Best Benefits
- Мы обмениваемся опытом и делимся экспертизой во внутренней гильдиях, поддерживаем при подготовке докладов на конференции и статей, организуем внутренние курсы техноспикеров и техноавторов
- Прозрачную систему развития: работаем по системе грейдов и составляем планы развития для каждого сотрудника
О компании
Мы развиваем AI-направление и внедряем голосовых AI-агентов для задач колл-центра, автоматизации звонков и клиентского сервиса.
Сейчас ищем сильного технического специалиста, который сможет заниматься не только настройкой голосовых агентов, но и полноценной интеграцией AI-решений в инфраструктуру компании.
Это НЕ операционная и НЕ “менеджерская” роль.
Нам нужен человек с техническим бэкграундом, который понимает, как работают voice AI платформы, телефония, API и интеграции, и способен совместно с IT-командой выстраивать стабильные рабочие решения.
Чем предстоит заниматься:
- Настраивать и внедрять голосовых AI-агентов для задач колл-центра
- Работать с ElevenLabs, Retell AI и аналогичными voice AI платформами
- Интегрировать voice AI решения с телефонией, CRM и внутренними сервисами компании
- Настраивать API-интеграции, webhooks и обмен данными между системами
- Подключать и сопровождать SIP/телефонные интеграции
- Совместно с IT-отделом участвовать в проектировании архитектуры решений
- Настраивать сценарии работы AI-агентов и логику обработки звонков
- Проводить тестирование, отладку и оптимизацию работы голосовых агентов
- Анализировать технические ошибки и устранять проблемы в интеграциях
- Взаимодействовать с провайдерами и внешними сервисами при возникновении технических вопросов
- Следить за стоимостью инфраструктуры и оптимизировать расходы без потери качества работы AI-агентов
- Постоянно мониторить рынок voice AI решений и тестировать новые платформы и инструменты
- Контролировать стабильность и качество работы voice AI инфраструктуры
Что для нас важно:
- Практический опыт работы с голосовыми AI-агентами / voicebot платформами
- Опыт работы с ElevenLabs, Retell AI или аналогичными voice AI сервисами
- Понимание принципов работы API, webhooks и интеграций между системами
- Опыт интеграции телефонии (SIP, виртуальные АТС, call center решения)
- Понимание технической архитектуры voice AI решений
- Умение работать в связке с разработчиками и IT-командой
- Техническое мышление и способность самостоятельно находить решения
- Понимание баланса между качеством AI-голоса, стабильностью и стоимостью инфраструктуры
- Интерес к новым AI-технологиям и желание постоянно отслеживать рынок voice AI
- Английский язык от B1 и выше
Будет большим плюсом:
- Опыт работы с Twilio, Voximplant, Asterisk, VAPI, Bland AI
- Опыт построения AI-инфраструктуры “с нуля”
- Базовые знания backend-разработки
- Опыт работы с highload или call center инфраструктурой
- Опыт автоматизации процессов с использованием LLM/AI инструментов
Мы предлагаем:
- Удалённую работу
- Современный AI-стек и интересные технические задачи
- Возможность участвовать в построении voice AI инфраструктуры с нуля
- Минимум бюрократии и быстрые решения
- Конкурентную оплату по результатам интервью
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.