яндекс

Разработчик Inference Server на C++ в отдел ML-инфраструктуры

Наша команда разрабатывает сервисы, которые позволяют быстро поднять подсчёт нейронных моделей и использовать их в продакшне. Это может быть лёгкая сетка на CPU или большой трансформер на миллиарды параметров, который нужно считать на сотн…

яндекс · На сервисе с: 12.06.26 01:09

↑ Вакансия с автоподнятием
Зарплата не указанаРоссияБеларусьМосква

Наша команда разрабатывает сервисы, которые позволяют быстро поднять подсчёт нейронных моделей и использовать их в продакшне. Это может быть лёгкая сетка на CPU или большой трансформер на миллиарды параметров, который нужно считать на сотнях тысяч RPS за 30 мс в Q99. Помимо этого, нужно, чтобы новые сервисы поднимались легко, в них сразу было многоуровневое кеширование, мониторинги, доставка и дообучение моделек и многое другое.

Мы должны делать так, чтобы:
* ML-инженеры любого уровня и в любой части Яндекса могли использовать этот сервис в своём проекте буквально «по кнопке».
* Ресёрч новых моделей и доставка их в эксперимент и продакшн были максимально простыми и быстрыми.
* Запросы выполнялись быстро, а CPU/GPU использовались с наибольшей утилизацией.

Наша команда — это служба из 10 человек, которая сейчас масштабируется для амбициозных целей. Часть команды занимается базовой технологией и отвечает за внедрение сервиса на всю компанию — делает так, чтобы сервис работал эффективно и удобно для разных команд. Другая часть команды занимается сервисами инференса в рекламе, где огромные нагрузки (сотни тысяч RPS), много железа (сотни тысяч ядер, сотни GPU) и прямое влияние на зарабатывание денег.

Все ребята из сильнейших вузов, многие окончили ШАД или прямо сейчас там учатся. Большая часть команды ходит в офис в Москве, так как мы любим не только решать задачи, но и находиться в кругу заинтересованных людей.

Мы любим сходить в бар вечерком, поиграть в настольные игры или просто съесть пиццу после удачного запуска. Периодически ездим в кампусы, обсуждаем технологии. Если вы любите делать сложные ответственные проекты в компании сильных и заинтересованных людей, то приходите к нам :)

Развитие коробочного решения для инференса

Сейчас у нас реализована core-часть сервиса, но, чтобы сделать решение по-настоящему удобным, предстоит реализовать множество таких идей и наработок, как динамическая балансировка, многоуровневый in-memory/disk/remote-кеш, динамические конфиги. Также вам нужно будет развивать инструменты для поднятия сервиса в облаке.

Помощь с внедрением решения по всей компании

По всей компании не менее 20 команд, занимающихся эксплуатацией ML-моделей. Чтобы сделать решение удобным для всех и позволить быстро проводить эксперименты, необходимо постоянно взаимодействовать с нашими заказчиками и реализовывать необходимый для них функционал, например новые бэкенды для применения нейросетей, или оказывать консультацию по поднятию новых инсталляций.

Сравнение с общемировыми аналогами

Для создания хорошего и конкурентного решения нам надо всегда смотреть по сторонам и перенимать лучшие практики и идеи. Для этого мы занимаемся качественным анализом аналогичных решений, как для кода инференса (Triton Inference Server, KServe), так и для поднятия сервиса в системах деплоя (Seldon Core, Kubeflow). А также нам необходимо следить за трендами инференса и заранее готовить инфраструктуру для новых размеров и типов моделей.

* Имеете опыт в программировании не менее двух лет
* Хорошо владеете C++ или готовы быстро разобраться
* Знаете про Concurrency на C++ или Linux

* Разрабатывали высоконагруженные сервисы на C++
* Разворачивали и эксплуатировали сервисы для ML Inference на CPU/GPU
* Слышали про Triton, TRT-LLM
* Знакомы с устройством нейронных моделей, в свободном режиме следите за новинками в области
* Знаете системы Unix/Linux (устройство процессов, файловой системы, системных вызовов и др.)

Похожие вакансии C++/C

Соц.сети
M

Software Engineer II

microsoftНа сервисе с: 24.09.26 18:05
Зарплата не указанаГерманияУдалёнка

Hi Everyone, I'm happy to share that we are hiring for two Software Engineer II positions in our local Germany group. If you have experience with and passion in low-level c++, high-performance computing, low-latency streaming, mixed reality, and cloud solutions, these might pique your interest. In that case please apply via the official postings:

Software Engineer

Microsoft, Германия

hh.ru
мтс, технический блок

Middle/Senior C++ разработчик [ИРТЕЯ]

мтс, технический блокНа сервисе с: 07.06.26 08:37↑ Вакансия с автоподнятием
Зарплата не указанаРоссияМоскваОфис

ИРТЕЯ является дочерней компанией ПАО «МТС», сохраняя при этом атмосферу стартапа. У нас динамичность и стремление к результатам сочетаются с комфортом и стабильностью корпоративной среды. В стенах ИРТЕЯ создается будущее российской мобильной связи.

Наш флагманский продукт для российских операторов – базовая станция LTE/5G, построенная на принципах программно-конфигурируемого радио (SDR) и открытой архитектуры OpenRAN.

ИРТЕЯ приглашает талантливых специалистов присоединиться к нашей команде. Мы ищем не просто сотрудников, мы ищем единомышленников, которые разделяют нашу страсть к прогрессу и инновациям.

Чем предстоит заниматься:

  • разрабатывать инфраструктуру для функционирования ПО базовых станций 4G/5G;
  • участвовать в принятии архитектурных решений;
  • искать и устранять узкие места, рефакторить код;
  • разрабатывать новые фичи;
  • разрабатывать и поддерживать высокопроизводительные сервисы с низкой задержкой (low latency);
  • покрывать код unit-тестами;
  • проводить Code review;
  • интегрировать процессы в существующий CI.

Что мы ждем от кандидата:

  • опыт разработки на С++ от 3 лет;
  • опыт на С на уровне понимания кода;
  • опыт многопоточной разработки;
  • опыт работы с сетевым стеком;
  • умение профилировать (valgrind, gprof и пр.);
  • знание Linux (CentOS like, Ubuntu like);
  • умение получать и анализировать трафик (Wireshark, tshark, tcpdump).

Будет плюсом:

  • опыт работы в компаниях, специализирующихся на разработке телеком-оборудования и/или программного обеспечения;
  • уровень грейда: senior.

Что мы предлагаем:

  • собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах;
  • профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше;
  • внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;
  • участие во внешних IT-мероприятиях. Наши эксперты выступают на ведущих профильных конференциях, таких как HighLoad++, DevOps Conf, Joker, AHA!, Матемаркетинг и другие. А еще мы организуем собственную масштабную конференцию True Tech Day и регулярно проводим митапы для разработчиков и инженеров;

  • полезные курсы и вебинары в корпоративном университете и электронную библиотеку.

А еще:

  • медицинскую страховку после испытательного срока со 100% покрытием расходов, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой;
  • единую подписку МТС Premium — KION light в онлайн-кинотеатре KION, сервис МТС Music, 30 дней бесплатного пользования подпиской OZON Premium;
  • скидки и предложения от партнеров на фитнес, занятия английским и прочее.
hh.ru
фастэко

Инженер-программист

фастэкоНа сервисе с: 24.09.26 17:52
Зарплата не указанаРоссияМоскваОфис

Обязанности:

  • Разработка ПО для вычислительных модулей с архитектурой x86, ARM, MIPS для различных дистрибутивов Linux.
  • Разработка тестового ПО для работы в ОС Linux.
  • Взаимодействие с hardware инженерами при отладке новых изделий.
  • Функциональное тестирование и отладка разработанного программного обеспечения.
  • Техническая поддержка подразделения сервисного обслуживания.

Требования:

  • Высшее образование (информатика и вычислительная техника, ЭВМ, прикладная математика, АСУ, РЭА и т.п.).
  • Знание Python, C/С++, cmake.

  • Умение работать в CLI, знание базовых утилит, опыт написания shell-скриптов.

  • Опыт программирования в среде Linux.

  • Умение работать с системой контроля версий git.Опыт эксплуатации систем виртуализации, контейнеризации.

  • Опыт работы c CI/CD.

Приветствуется:

- Опыт разработки под ОС Эльбрус, Baikal;
- Опыт применения инструментов совместной разработки (GitLab, Jira, Confluence и т.п);

- Опыт написания модулей ядра/драйверов Linux;

- Понимание работы шин UART, I2C, SPI, USB, PCIe.

- Глубокое знание сетевых технологий.

- Знакомство с внутренним устройством сетевых коммутаторов (протоколы, встраиваемое ПО и т.д.);

Условия:
  • Работу в успешной компании в команде интересных, увлеченных своим делом людей.
  • Трудоустройство по ТК РФ и достойную заработную плату – размер обсуждается на собеседовании в зависимости от квалификации кандидата.
  • Обед на оборудованной кухне или в столовой (демократичные цены).
  • ДМС после завершения испытательного срока.
  • Работа в офисе в шаговой доступности от метро Беляево(3 мин. пешком).

Просьба указывать зарплатные ожидания в сопроводительном письме в случае отсутствия в резюме информации о заработной плате.

Благодарим Вас за интерес, проявленный к нашей Компании.

Если Вы хотите убедиться, что условия работы в нашей Компании соответствуют важным для Вас требованиям, укажите эти требования в сопроводительном письме, и мы обязательно Вам ответим!

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.