Lead Data Platform Engineer (Python, FastAPI)

Издательский дом «Коммерсантъ» — ведущее деловое медиа России. Мы управляем сложной IT-инфраструктурой, включающей большой объём данных, облачные решения и сервисы для внутренних и внешних продуктов (kommersant.ru, autopilot.ru, myweekend.ru). В связи с развитием цифровых продуктов и аналитических сервисов мы ищем аналитика-разработчика, готового работать с данными, ETL-пайплайнами и AI-технологиями.

Чем предстоит заниматься:

• Сбор, обработка и анализ данных Яндекс.Метрики и внутренних систем.
• Создание ETL-пайплайнов, витрин данных и регулярной отчётности.
• Разработка парсеров и интеграций с внешними API.
• Построение классических ML-моделей для целей аналитики.
• Создание аналитических ИИ-агентов.
• Контроль качества, полноты и актуальности данных.
• Поддержка аналитических сервисов и автоматизированных отчётов.

Наши ожидания:

• Высшее образование (техническое, математическое).
• Уверенное знание SQL и Python.
• Практический опыт работы с ClickHouse.
• Опыт работы с Яндекс.Метрикой, включая API и Logs API.
• Опыт разработки ETL-пайплайнов.
• Опыт написания веб-парсеров и интеграций с API.
• Понимание аналитических метрик и принципов построения витрин данных.
• Опыт создания ИИ-агентов или LLM-интеграций.

Будет вашим преимуществом:

• Знание Airflow и других инструментов оркестрации.
• Docker, PM2, FastAPI.
• Redash, Superset, DataHub.
• Selenium и автоматизация работы с веб-интерфейсами.
• PostgreSQL, Redis, Qdrant.
• RAG, MCP и работа с LLM API.
• Опыт работы с большими объемами медиаданных.

Мы предлагаем:

• График работы: 5/2, гибрид.
• Оформление по трудовому договору.
• Стабильность и прозрачность в отношении заработной платы.
• Испытательный срок 3 месяца. По окончании испытательного срока Вы сможете подключиться к программе добровольного медицинского страхования и другим опциям социальной политики в Обществе.
• Доброжелательную атмосферу, команду профессионалов в digital.
• Работу в бизнес-центре класса А с развитой инфраструктурой (офис в 5 минутах от м. «Маяковская», кафе и магазины, зоны отдыха внутри здания).

Основные задачи:

• Проектировать масштабируемую, надёжную и производительную архитектуру единой платформы данных;
• Разрабатывать и сопровождать техническую дорожную карту платформы, синхронизированную с бизнес-целями и потребностями исследователей;
• Анализировать и обеспечивать характеристики scalability, reliability и performance ключевых компонентов;
• Проектировать и внедрять системы оркестрации многоэтапных пайплайнов обработки данных;
• Разрабатывать ключевые компоненты платформы: панель управления, оркестраторы, агенты, API, SDK;
• Создавать и развивать self-service инструменты, позволяющие дата-инженерам и аналитикам автономно запускать, мониторить и контролировать пайплайны;
• Обеспечивать мультитенантность, разграничение доступа и аудит-логирование действий пользователей;
• Обеспечивать целостность, надёжность и безопасность данных на всех этапах обработки;
• Оптимизировать использование вычислительных и storage-ресурсов: проводить capacity planning, performance benchmarking, выявлять и устранять узкие места;
• Развивать observability-направление: мониторинг, APM, алертинг для своевременного обнаружения деградаций;
• Формировать и внедрять технические стандарты платформенной команды: архитектурные принципы, подходы к надёжности, code review, требования к документации;
• Систематизировать процессы разработки, унифицировать технологический стек и инструментарий;
• Систематизировать и вести техническую документацию по платформенным сервисам и архитектурным решениям.

Требования:

• Опыт проектирования горизонтально масштабируемых, отказоустойчивых data-intensive систем на bare-metal/VM-инфраструктуре и/или в Kubernetes;
• Понимание архитектурных компромиссов и умение выбирать решения под конкретные рабочие нагрузки: оркестрация, хранение, доступ, мониторинг;
• Уверенное владение Python;
• Опыт разработки бэкенд-сервисов и API с использованием FastAPI;
• Опыт работы с оркестраторами пайплайнов: Airflow, Dagster и другие;
• Понимание HTC/HPC-систем;
• S3-совместимыми хранилищами;
• Понимание объектного и файлового хранения для нагрузок с интенсивной обработкой данных: производительность, масштабируемость, модели доступа;
• Опыт построения CI/CD-пайплайнов в GitLab (тестирование, сборка, деплой сервисов платформы);
• Способность принимать и аргументировать системные архитектурные решения, увязывая требования надёжности, производительности и стоимости;
• Опыт формирования технических стандартов: архитектурные принципы, code review, инженерная документация, практики эксплуатации.

Будет плюсом:

• Опыт разработки на Go;
• Глубокое понимание Kubernetes: запуск рабочих нагрузок, модель операторов, сетевые политики, безопасность;
• Опыт работы с планировщиками типа Slurm;
• Опыт работы с Singularity/Apptainer контейнерами;
• Опыт в домене биотехнологий/биоинформатики и понимание специфики рабочих нагрузок (позволит быстрее войти в контекст).

Условия:

• Интересные проекты федерального уровня с минимумом бюрократии, главное – результат;
• Практическая направленность работы на получение реально работающих уникальных продуктов в сфере генетики / медицины / биологии, на стыке ИТ и передовой науки;
• Оформление по ТК РФ, достойный уровень з/п;
• Работа в быстрорастущей, стабильной организации, которой не страшен кризис;
• График работы 5/2, плавающее начало рабочего дня, гибридный график работы после испытательного срока;
• Бронь от мобилизации.

SberData — подразделение Сбера, которое занимается разработкой инфраструктуры для поставки, хранения и обработки данных. Наша команда развивает инструменты для разработки data-продуктов (моделей, витрин, ad-hoc аналитики) в Enterprise-среде в рамках корпоративной аналитической платформы. Мы разрабатываем сервис DataAPI — высокотехнологичное решение, которое выступает мостом между корпоративными хранилищами данных и современными LLM-приложениями (автономными AI-агентами).

Задачи:

• формировать техническое видение и дорожную карту развития DataAPI; участвовать в определении приоритетов совместно с продуктовым менеджером, аналитиками и стейкхолдерами
• проектировать архитектуру сервиса и его ключевых компонентов, принимать и согласовывать технические решения, оценивать их влияние на масштабируемость, надежность, безопасность и стоимость эксплуатации
• разбирать сложные продуктовые и интеграционные задачи на технические решения и задачи; определять зависимости, риски и необходимые ресурсы
• участвовать в разработке ключевых компонентов сервиса, проводить code review, контролировать соблюдение инженерных стандартов, качества кода, тестирования и документирования
• обеспечивать надежность, наблюдаемость и эксплуатационную готовность сервиса: участвовать в разборе инцидентов, выявлении узких мест, формировании мер по их устранению и предотвращению повторений
• развивать практики CI/CD, автоматизированного тестирования, релизного процесса и управления техническим долгом
• выступать техническим экспертом при взаимодействии с разработчиками, DevOps-инженерами, системными аналитиками, командами безопасности, инфраструктуры и смежными продуктовыми командами
• коммуницировать технические решения, ограничения и риски как техническим, так и нетехническим стейкхолдерам; участвовать в презентациях продукта и в приемо-сдаточных испытаниях.

Требования:

• опыт проектирования микросервисных, высоконагруженных или enterprise-решений от 5 лет, в т.ч. опыт на позиции технического лидера/ведущего разработчика/главного DevOps-инженера или архитектора от 2 лет
• глубокое понимание принципов проектирования распределенных систем: API, интеграций, отказоустойчивости, идемпотентности, обработки ошибок, безопасности и производительности
• практический опыт разработки на Python, Go и/или Java, умения принимать архитектурные решения и проводить качественный code review
• опыт работы с реляционными и нереляционными базами данных и распределёнными хранилищами, включая проектирование моделей данных, оптимизацию запросов и эксплуатационные аспекты
• опыт построения и сопровождения CI/CD-процессов, контейнеризированных приложений и сервисов в Kubernetes
• опыт ведения технической документации: архитектурных решений, схем интеграций, API-контрактов и проектной документации
• опыт взаимодействия с заказчиками, аналитиками, DevOps, тестированием и другими смежными командами.

Будет плюсом:

• опыт работы с Data Lake, аналитическими платформами или ML/AI-продуктами.
• пнимание архитектуры LLM-приложений, AI-агентов и специфики предоставления им доступа к корпоративным данным.
• опыт внедрения продуктов в корпоративной инфраструктуре заказчика.
• опыт проведения технических демо и консультирования клиентов.
• опыт управления распределенной командой или координации работы нескольких инженеров.

Мы предлагаем:

• комфортный современный офис в Москве: БЦ Даниловский форт, рядом с М.Тульская, Верхние котлы
• возможность выбрать удобный график – офис/гибрид
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.