DevOps/MLOps инженер AI-платформы (LLM/VLM, GPU, RAG) (Python)

Location

The role is based in Lithuania, with compensation for other locations discussed during the interview process; no specific remote or on-site format is stated.

About the company

A global financial technology company building a broad consumer finance super app, serving tens of millions of customers with products spanning spending, saving, investing, exchanging, and travel.

The technology organization develops the infrastructure and features behind the app and is expanding its internal AI agent capabilities within a heavily regulated financial environment.

Responsibilities

• Design, build, and maintain scalable Python services, APIs, and data pipelines for an internal agent platform
• Develop and deploy LLM agents, covering tool integrations, orchestration, and state management
• Create reusable platform capabilities so teams can develop, test, and run AI agents in production
• Improve agent reliability, observability, performance, and cost efficiency through evaluation, monitoring, and robust error handling
• Break down complex AI and backend problems into technical designs, reviewable components, and delivery plans, and review designs and code for security and maintainability

Requirements

• 5+ years as a software engineer focused on backend systems, including 3+ years using Python as the primary language
• Hands-on experience building LLM agents, with production experience in AI agent systems or platforms, plus a STEM academic background
• Fluency in SQL and proficiency in another object-oriented language, with experience in API development, integration, and distributed systems
• Ability to write concurrent code for I/O-bound and CPU-bound workloads and familiarity with Docker, Kubernetes, CI/CD, monitoring, and alerting
• Understanding of production agent challenges such as tool execution, context management, evaluation, and failure handling, and the ability to turn ambiguous requirements into clear designs and trade-offs

О команде

Мы развиваем внутреннюю on-prem AI-платформу, которой пользуется вся компания: собственный inference на GPU, LLM-шлюз, RAG и AI-агенты в защищённом контуре. Приоритет — собственная инфраструктура там, где это критично. Помимо собственных моделей, платформа обеспечивает безопасное использование внешних моделей; при этом работа с моделями и AI-агентами выполняется в изолированной песочнице (sandbox), ограничивающей доступ к файлам, сети и данным.

Эта роль — про развитие AI-платформы изнутри: установку и конфигурирование AI-сервисов, их развёртывание в Docker и Kubernetes, запуск новых моделей на нашем GPU-оборудовании и обеспечение их безопасности и производительности. Мы ищем инженера с сильным техническим бэкграундом в администрировании Linux, контейнеризации, автоматизации и информационной безопасности.

Чем предстоит заниматься

• Установка, конфигурирование и развитие AI-платформ: веб-интерфейсы для моделей, LLM-шлюзы, оркестрация AI-workflow и агентов, облачные среды разработки (CDE), RAG-платформы
• Развёртывание и сопровождение сервисов: контейнеризация (Docker) и оркестрация (Kubernetes)
• Развёртывание и запуск новых моделей на сервисах инференса (vLLM и аналогичные) с учётом возможностей GPU, включая оптимизацию и quantization
• Безопасные конфигурации (hardening, secure by design) и безопасность платформы: RBAC, secrets management, network policies, изоляция моделей, защита от prompt injection
• Обеспечение изолированного и безопасного выполнения моделей и AI-агентов (sandbox)
• Автоматизация развёртывания и обновления, управление конфигурациями (IaC, CI/CD, GitOps)
• Мониторинг, диагностика и оптимизация производительности; контроль latency, throughput и стоимости инференса
• Оценка качества моделей (evals) и наблюдаемость (observability)
• Развитие и продвижение использования AI-технологий в компании
• Контроль лицензий open-weight моделей и требований compliance
• Взаимодействие с командами разработки и инфраструктуры, подготовка документации
• Обучение и консультирование сотрудников по работе с AI-инструментами

Что для нас важно

• Высшее образование (техническое)
• Опыт работы в роли AI/ML Platform, MLOps или DevOps инженера от 3 лет
• Уверенное понимание принципов работы LLM, RAG и векторных баз данных
• Опыт развёртывания и эксплуатации сервисов: контейнеризация (Docker) и оркестрация (Kubernetes)
• Опыт развёртывания и эксплуатации моделей машинного обучения/LLM на серверных сервисах инференса (vLLM, SGLang, TGI)
• Опыт администрирования Linux
• Навыки работы с GPU (NVIDIA CUDA, VRAM, оптимизация инференса)
• Уверенное владение Python и скриптовыми языками для автоматизации
• Опыт построения CI/CD и управления конфигурациями (Ansible, Terraform, Helm)
• Понимание принципов информационной безопасности и разграничения доступа (RBAC, secrets management)
• Опыт production-эксплуатации: мониторинг, evals, контроль latency, throughput и стоимости
• Аналитические навыки и навыки поиска и устранения неисправностей
• Английский язык на уровне Intermediate и выше

Будет плюсом

• Опыт работы с Open WebUI, LiteLLM, Langflow, RAGFlow, OpenHands и аналогичными
• Опыт администрирования Windows Server
• Опыт с локальными рантаймами инференса (Ollama, llama.cpp);
• Понимание MCP и agentic AI
• Опыт мониторинга (Prometheus, Grafana) и логирования
• Знание принципов fine-tuning и оценки качества моделей
• Хорошие коммуникативные и презентационные навыки

Что мы предлагаем

• Прозрачный карьерный рост: индивидуальный карьерный трек, программы коучинга и менторинга
• Возможность внести свой вклад в изменения бизнеса и расширить профессиональную экспертизу
• Команда профессионалов, которые поддерживают друг друга и работают на результат
• Гибкие начало и конец рабочего дня, возможность работать из офиса или из дома
• Корпоративное обучение: более 50 тренингов, доступ к изучению иностранных языков и электронной библиотеке
• Забота о сотрудниках: ДМС со стоматологией с первого месяца работы и скидка на ДМС для родственников, 5 оплачиваемых дней в году по болезни без оформления больничного, корпоративный спорт и мероприятия, скидки партнеров, программа психологического здоровья, комфортный и стильный офис
• Конкурентная заработная плата, бонусы по итогам финансового года и годовой оценки сотрудника, премии за интенсивную работу и выдающиеся результаты
• Официальное трудоустройство