Internal Tools Engineer (Python, TypeScript)

Team.Inno – одна из наиболее опытных белорусских компаний в области полного цикла разработки, внедрения и поддержки программного обеспечения, бизнес-анализа, дизайна, тестирования и управления проектами

За 18+ лет мы реализовали более 1600 проектов в разных отраслях для заказчиков из США, Канады, Великобритании, Германии, Франции, Италии, Японии и других стран. Наша команда специализируется на 40+ бизнес-доменах, включая Artificial Intelligence, Machine Learning, Augmented & Virtual Reality

Сейчас Team.Inno объединяет 3500+ специалистов, которые работают в офисах компании в Беларуси, Польше, Литве, Грузии и Германии. Мы постоянно ищем опытных и начинающих специалистов, а с 2025 предлагаем обучение на бесплатных онлайн-курсах для всех, кто хочет начать карьеру в IT

У нас можно пробовать себя на проектах разного масштаба, менять направления и выбирать карьерные треки. Присоединяйся!

Наши ожидания:

• Уверенное владение Python: разработка продакшн-кода, знание библиотек для ML и автоматизации;

• Опыт в MLOps (от 2 лет): практический опыт развертывания и управления ML-моделями в промышленной эксплуатации;

• ML Expertise: понимание жизненного цикла модели, алгоритмов ML, техник feature engineering и мониторинга (drift, performance), знание инструментов управления версиями данных и экспериментов (MLflow, DVC, W&B);

• Cloud Platforms: опыт работы с Azure (Azure ML, DevOps Pipelines, ACR), AWS (EC2, S3, IAM, Networking), GCP или другими облачными решениями;

• CI/CD & DevOps: опыт работы с пайплайнами (GitHub Actions, Azure DevOps, GitLab CI, etc.), понимание принципов IaC (Terraform);

• Контейнеризация: опыт работы с Docker и понимание оркестрации (Kubernetes/EKS/ECS);

• Работа с данными: знание SQL (MS SQL/PostgreSQL) на уровне написания сложных запросов и манипуляции данными;

• Владение английским языком на уровне B2 и выше.

Чем предстоит заниматься:

• Проектирование и поддержка сквозных ML-пайплайнов (данные → обучение → деплой → мониторинг);

• Автоматизация инфраструктуры для обучения и обслуживания моделей (Inference) в облаке;

• Внедрение практик CI/CD/CT для кода, данных и моделей;

• Обеспечение надежности, масштабируемости и безопасности AI-сервисов в продакшне;

• Тесное взаимодействие с Data Scientists и DevOps для превращения прототипов в готовые продукты.

Будет плюсом:

• Опыт работы с LLM и GenAI проектами в продакшне;

• Опыт работы с PySpark, Databricks и другими инструментами BigData для распределенной обработки данных;

• Понимание сетевых протоколов, настроек безопасности, виртуальных локальных сетей;

• Профильное высшее образование (Computer Science, Data Science, Математика).

Обязанности:
•Обеспечивать отказоустойчивость работы платформы искусственного
интеллекта, формировать планы аварийных переключений, применять технологии для
обеспечения отказоустойчивой работы
•Анализировать метрики производительности, проводить анализ причин
инцидентов и ошибок работы платформы искусственного интеллекта, разрабатывать
меры по недопущению повторений сбоев
•Автоматизировать рутинные действия, внедрять и применять лучшие
практики подхода ""инфраструктура как код""
•Принимать участие в проектировании и организации вычислительных
ресурсов для решения новых функциональных задач и внедрения в эксплуатацию
технологий, в части касающейся системного программного обеспечения оркестрации
микросервисов и аппаратно-технических средств используемых в средах с применением
графических ускорителей платформ искусственного интеллекта;
•Осуществлять администрирование системного программного обеспечения
платформ искусственного интеллекта, включая операционные системы, оркестратор
микросервисов, модули управления и мониторинга и другие компоненты

Требования:
•Опыт сопровождения Kubernetes от 3 лет
•Опыт внедрения кластеров виртуализации, частных/публичных облаков с использованием GPU Nvidia для AI/ML, в т.ч. LLM
•Опыт использования и развертывания Istio, haproxy, opensearch, vector, kafka, victoria metrics, vault, kyverno, calico, Kserve, multus, sriov, rdma, infiniband, patroni, postgresql, , multi-tenant k8s, nvidia gpu-operator, network operator, dcgm, grafana, argo workflow, argo cd
•Опыт внедрения и сопровождения систем с использованием сети Infiniband на базе коммутаторов Mellanox. Понимание работы, тюнинг и настройка OpenSM (настройка фабрик Infiniband)
•Навыки использования Go\Python (создание скриптов, операторов K8S)
•Знание и применение Ansible/Terraform
•Понимание принципов работы NFS, S3 (опыт работы приветствуется)

Условия:
•Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
•Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
•Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
•Сложные и интересные задачи, современный стек технологий
•Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
•Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
•Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
•Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
•Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины

Мы создаём инфраструктуру для обучения и дообучения больших языковых (LLM) и визуально-языковых (VLМ) моделей, которые используются в Алисе, Поиске, Рекламе и других сервисах Яндекса. Современное обучение таких моделей — это сложная система, которая включает десятки тысяч серверов, миллионы вычислительных ядер и многоуровневые соединения между ними. Наша задача — сделать эту систему максимально эффективной, рационально используя вычислительные ресурсы и минимизируя риски сбоев.

Обучение моделей превратилось в задачу управления сложными распределёнными системами. Нужно обеспечивать отказоустойчивость, эффективную доставку данных и минимизировать задержки в коммуникациях. Чем сложнее система, тем больше точек отказа, а чем больше ресурсов нужно на обучение, тем выше накладные расходы на запуск. Наша команда работает на стыке ML-математики и «железной» инфраструктуры: мы должны понимать и особенности аппаратного обеспечения (GPU, сети, шины данных, диски, память), и нюансы самого процесса обучения: составные части, взаимодействие компонентов, узкие места.

Один из популярных подходов к обучению LLM — обучение с подкреплением, Reinforcement Learning, RL. С ростом популярности этого метода появляются всё более сложные подходы, увеличивается потребность в вычислительных ресурсах — и, как следствие, возникает необходимость строить специализированную инфраструктуру.

Оптимизация инфраструктуры RL-обучения

Вам предстоит улучшать ключевые компоненты: оптимизировать доставку и сохранение данных, оптимизировать коммуникации между блоками обучения, повышать эффективность работы внутри блоков.

Развитие инструментов диагностики

Вы будете создавать и совершенствовать инструменты, которые позволят быстро выявлять и устранять инфраструктурные проблемы.

Повышение отказоустойчивости инфраструктуры

Предстоит реализовывать подходы, которые сделают инфраструктуру обучения устойчивой к различным ошибкам и сбоям.

Исследование и внедрение современных решений

Будете изучать новейшие подходы к организации инфраструктуры RL-обучения, оценивать их эффективность и внедрять в реальные проекты.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

* Знаете Python и имеете опыт системного программирования, разработки библиотек или фреймворков
* Хорошо знакомы и работали на практике с фреймворком PyTorch и распределённым обучением через torch.distributed
* Владеете подходами параллелизации: понимаете data parallelism, tensor parallelism, pipeline parallelism, expert parallelism для распределённого инференса или обучения
* Интересуетесь LLM и MLOps: понимаете задачи и вызовы, которые связаны с эксплуатацией больших моделей в продакшне
* Умеете эффективно работать в команде и делиться знаниями

* Участвовали в создании инфраструктуры обучения ML-моделей
* Внедряли и оптимизировали RL-решения
* Работали с библиотеками RL-обучения для LLM: veRL, slime, NeMo-RL, SkyRL и другими, а также с библиотеками инференса: vLLM, SGLang и TRTLLM
* Владеете C++ и имеете опыт низкоуровневого программирования и оптимизации
* Имеете опыт с GPU NVIDIA: понимаете архитектуру GPU, разрабатывали или оптимизировали алгоритмы с использованием CUDA или Triton