Backend/Platform Developer в команду LLM Platform

LLM Platform — это единая точка входа для работы с LLM внутри Яндекса.

Мы строим платформу, которая предоставляет унифицированный доступ к различным языковым моделям: и к собственным, и к опенсорсным, развёрнутым во внутреннем контуре. Платформа помогает командам безопасно, прозрачно и эффективно использовать LLM в продуктах, внутренних сервисах и бизнес-процессах.

Каждый день платформой пользуются десятки тысяч сотрудников и сотни внутренних сервисов — поэтому для нас важны надёжность, масштабируемость, контроль ресурсов, безопасность данных и удобство интеграции.

LLM Platform решает несколько ключевых задач:
* Предоставляет единый API для работы с любыми LLM
* Управляет справедливым распределением ресурсов между пользователями, командами и сервисами
* Собирает аналитику по запросам, токенам, моделям, пользователям и бизнес-юнитам
* Поддерживает единый конфиг с возможностью подключения собственных моделей
* Помогает безопасно использовать внутренние данные компании при работе с публичными моделями

Позиция подойдёт разработчику, которому интересно строить не просто продуктовые фичи, а внутреннюю платформу масштаба крупной компании.

Здесь много задач на стыке backend-разработки, платформенной инженерии, LLM-инфраструктуры, безопасности, аналитики и управления ресурсами. Понадобится принимать инженерные решения, влияющие на стоимость, надёжность и безопасность использования LLM.

Разработка системы управления квотами

Эта система должна позволять:
* Задавать и контролировать квоты на разные типы запросов
* Управлять лимитами на уровне пользователей, команд, сервисов, namespace и бизнес-юнитов
* Предоставлять аналитику менеджерам и владельцам продуктов
* Реализовывать биллинг и cost allocation по бизнес-юнитам
* Предоставлять супервайзерам интерфейс для управления квотами внутри своих namespace

Интеграции с LLM-провайдерами и внутренними моделями

Нужно развивать единый API для работы с разными моделями и провайдерами:
* Подключать LLM-провайдеров и собственные инференсы
* Унифицировать форматы запросов и ответов
* Разрабатывать механизмы маршрутизации запросов между моделями
* Учитывать стоимость, доступность, latency, лимиты и требования безопасности
* Поддерживать конфигурацию моделей, namespace, теги и политики доступа

Безопасное использование данных

LLM-платформа должна помогать командам использовать LLM без риска утечки чувствительной информации. Поэтому вам предстоит:
* Проектировать и реализовывать механизмы безопасной передачи данных в публичные модели
* Разрабатывать фильтры, политики и алгоритмы обработки запросов
* Участвовать в проектировании решений для защиты внутренних данных
* Интегрироваться с внутренними системами контроля, аудита и доступа

Сбор и извлечение данных из веб-источников

Также вы можете выполнять задачи, связанные с получением структурированных данных из внешних веб-источников:
* Разрабатывать системы, чтобы автоматизировать извлечение данных с сайтов
* Анализировать HTML-, JavaScript-приложения, сетевые запросы и API
* Строить надёжные пайплайны сбора, нормализации и обработки данных
* Разрабатывать инструменты для работы с динамическими веб-приложениями

Больше о бэкенде в Яндексе — в канале Yandex for Backend

* Занимались backend-разработкой на Go на промышленном уровне
* Понимаете принципы построения распределённых систем
* Проектировали API и интеграции между сервисами
* Умеете работать с высоконагруженными сервисами, очередями, базами данных и кешами
* Понимаете observability: метрики, логи, трассировка, алерты
* Аккуратны в вопросах безопасности данных и разграничения доступа
* Готовы разбираться в предметной области LLM, токенов, моделей, провайдеров и лимитов

* Работали с LLM API и AI-инфраструктурой
* Разрабатывали платформенные сервисы
* Строили quota management, rate limiting, billing или cost allocation систем
* Имеете опыт web scraping / web crawling / data extraction
* Анализировали веб-приложения, API и сетевой трафик