LLMOps-инженер (Python)
Формат работы: удаленка, гибрид, офис
kode · На сервисе с: 21.07.26 14:38
Публикатор: ••••••••
Обсуждение: ••••••••
#вакансия LLMOps
Город и адрес офиса: Калининград
Формат работы: удаленка, гибрид, офис
Занятость: полная
Зарплатная вилка: от 170000 gross до 230000 gross
Особенности найма:
- 2 этапа интервью
Описание вакансии:
Чем предстоит заниматься:
- Развертывание, сопровождение и обновление LLM-инференс платформ (vLLM, SGLang, Ollama);
- Эксплуатация и развитие AI-платформы в Kubernetes, включая масштабирование и управление GPU-ресурсами;
- Настройка AI Gateway (LiteLLM): маршрутизация запросов, API-ключи, квоты, лимиты и политики доступа;
- Оптимизация производительности inference: batching, KV Cache, semantic cache, снижение latency и стоимости инференса;
- Настройка мониторинга, логирования и трассировки (OpenTelemetry, Langfuse, SigNoz, Prometheus/Grafana);
- Автоматизация CI/CD процессов для инфраструктуры и моделей, поддержка GitOps-подхода;
- Интеграция и сопровождение сервисов памяти, векторных хранилищ и компонентов RAG/Agentic AI;
- Диагностика и устранение инцидентов, обеспечение стабильности и высокой доступности LLM-платформы.
Что мы ждём от нового члена команды:
- ВАЖНО! Опыт в роли DevOps от 3 лет;
- Опыт администрирования Kubernetes в production, Docker, Helm, понимание GitOps-подходов;
- Опыт эксплуатации LLM inference-серверов (vLLM, SGLang, Ollama или TGI) и понимание их архитектуры;
- Хорошее понимание принципов работы LLM: токены, KV Cache, batching, streaming, квантование, RAG;
- Практический опыт работы с GPU (NVIDIA/CUDA), распределением ресурсов и оптимизацией производительности;
- Опыт настройки мониторинга и observability (Prometheus, Grafana, OpenTelemetry, SigNoz/Langfuse);
- Уверенные знания Linux, Docker, сетевого взаимодействия и диагностики инфраструктурных проблем;
- Навыки автоматизации на Python и работы с CI/CD (GitLab CI/GitHub Actions);
- Опыт работы с Redis, PostgreSQL и API-шлюзами;
- Знание LiteLLM, KEDA, Qdrant/Milvus будет преимуществом.
Название компании: KODE
Похожие вакансии MLOps инженер
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.