Data Engineer в команду SMT (Python)

Sapiens Solutions - команда экспертов, специализирующаяся на разработке решений в области хранилищ данных, аналитической отчетности, мобильных приложений, системах планирования и прогнозирования. Опыт команды и её безупречная репутация - гарантия успешного сотрудничества с нашими клиентами.

«Мы ценим красивые технические решения и создаем приложения, которыми пользуются».

Заказчик: Крупный банк

Проект:

Мы создаем и развиваем ключевой инструмент для визуализации бюджета в масштабах всего Банка. Наш продукт агрегирует данные из 10+ учетных систем и помогает 500+ руководителям и финансистам принимать решения на этапе бизнес-планирования.

Сейчас мы находимся в активной фазе перестройки архитектуры. Ищем инженера, который не боится сложных данных, готов проектировать сервисы, а не просто «писать код по задачам», и хочет видеть результат своей работы в промышленной эксплуатации. Проект рассчитан на 4+ лет, включает этапы разработки, внедрения и сопровождения с участием различных заинтересованных сторон.

Технологический стек:

* Python (FastAPI / Django)

* Redis

* PostgreSQL (или другие реляционные БД)

* Инфраструктура: Docker, CI/CD (GitLab CI/Jenkins или аналоги)

* Архитектура: REST API

* Данные и BI: Apache Superset (интеграция, встраивание и кастомизация)

Что нужно делать:

* Разработка и развитие backend-сервисов на Python

* Участие в миграции текущего решения на новую архитектуру

* Интеграция с BI и системами визуализации (Apache Superset)

* Работа с базами данных

* Сборка и деплой сервисов (Docker, CI/CD)

* Участие в архитектурных решениях и выборе технических подходов

* Взаимодействие с аналитиками и другими командами

Что мы ждём:

* Уверенный опыт backend-разработки на Python

* Опыт работы на данной позиции от 4 лет

* Хорошее знание SQL и понимание работы с данными

* Опыт проектирования и разработки API

* Опыт контейнеризации и сборки сервисов (Docker, CI/CD)

* Понимание принципов построения микросервисной архитектуры

* Умение разбираться в существующем коде и улучшать его

* Опыт работы в Agile (Scrum/Kanban), понимание процессов разработки и умение работать в команде

* Ответственность за результат, а не только за «написанный код»

* Опыт работы Jira, Confluence.

Будет плюсом:

* Опыт работы с BI-инструментами (Superset, Metabase, Tableau)

* Понимание ETL / data pipelines

* Опыт работы с Kafka или другими брокерами сообщений

* Опыт участия в миграциях или рефакторинге легаси-систем

* Опыт работы в enterprise или интеграционных проектах

Что мы предлагаем:

* Оформление по ИП;

* Гибридный формат;

* Стабильный и прозрачный доход.

Будем рады видеть вас в нашей команде :)

• За каждым запуском обучения модели стоит масштабная инфраструктура данных, которая должна хранить, обслуживать, версионировать и оркестрировать петабайты данных с высокой пропускной способностью и высокой надёжностью. Команда платформы данных создаёт базовую технологическую основу, на которую опираются все остальные команды, работающие с данными. В этой роли вы будете отвечать за техническое развитие платформы хранения, вычислений и оркестрации, лежащей в основе полного жизненного цикла данных для претрейнинга. Это техлидская позиция для сильного инженера, который способен проектировать платформенные решения, задавать стандарты для команды, развивать инженерную культуру и помогать коллегам расти. Роль предполагает высокий уровень технического влияния и может стать естественным шагом к переходу в тимлидскую позицию по мере роста команды.

Чем предстоит заниматься

• Проектировать и развивать масштабные системы хранения данных, оптимизированные под характерные паттерны доступа в претрейне LLM.
• Развивать платформу версионирования и отслеживания происхождения данных, обеспечивающую воспроизводимость и аудит на всём жизненном цикле датасетов.
• Создавать и совершенствовать системы оркестрации workflow-ов, координирующие многоэтапные пайплайны данных на тысячах узлов.
• Оптимизировать инфраструктуру подачи данных так, чтобы обучающие данные поступали на GPU-кластеры без узких мест и с минимальными потерями вычислительного времени.
• Развивать внутренние инструменты, SDK и API, которые упрощают работу исследователей и дата-инженеров с платформой данных.
• Реализовывать механизмы контроля доступа, шифрования и audit logging для работы с чувствительными и лицензированными датасетами.
• Отвечать за capacity planning, оптимизацию затрат и performance benchmarking для облачной и локальной инфраструктуры хранения.
• Формировать технические стандарты платформенной команды: архитектурные подходы, требования к надёжности, эксплуатационные практики, code review и инженерную документацию.
• Менторить инженеров, помогать команде расти технически и распространять экспертизу по платформенной архитектуре и надёжной эксплуатации систем.

Мы ожидаем

• Высшее образование в области computer science, systems engineering или смежной области.
• Не менее 6 лет опыта в infrastructure engineering или platform engineering, включая серьёзный опыт построения data-intensive distributed systems.
• Экспертное знание облачной инфраструктуры, объектного хранения, оркестрации вычислений и сетевых подсистем.
• Уверенное владение как минимум двумя языками из следующих: Python, Rust, C++.
• Глубокий опыт работы с Kubernetes, Infrastructure as Code и CI/CD-пайплайнами.
• Подтверждённый опыт проектирования систем с высокой доступностью, отказоустойчивостью и горизонтальной масштабируемостью.
• Опыт работы с промышленными форматами хранения и сериализации данных и понимание их эксплуатационных компромиссов.
• Способность выступать техническим лидером команды: принимать архитектурные решения, согласовывать платформенные подходы между командами и системно развивать коллег.
• Опыт менторинга и построения сильных инженерных практик внутри команды.

Будет плюсом

• Опыт работы с YTSaurus.
• Опыт поддержки ML training workloads, особенно претрейна на крупных GPU-кластерах.
• Знакомство с инструментами orchestration для data-пайплайнов в промышленном масштабе.
• Опыт создания внутренних платформ разработки и self-service-инструментов для инженерных команд.

Что предлагаем

• Кластеры YTSaurus с большим количеством ресурсов: десятки петабайт + десятки тысяч ядер.
• Сильная команда выпускников МФТИ, ВШЭ, МГУ, много людей с опытом работы в профильном БигТехе.
• Комфортный современный офис рядом с м. Кутузовская.
• Гибридный формат работы (2 дня в офисе, 3 дня на удалёнке).
• Ежегодный пересмотр зарплаты, годовая премия.
• Корпоративный спортзал и зоны отдыха.
• Система обучения для профессионального и карьерного развития.
• Расширенный полис ДМС с первого дня работы и страхование для семьи.
• Льготная программа ипотеки для сотрудников.
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров.
• Вознаграждение за рекомендацию друзей в команду Сбера.

МТС Web Services (MWS) — бигтех-компания, предоставляющая облачные, AI-сервисы и платформенные решения под разные задачи бизнеса: от работы с данными до разработки продуктов и оптимизации процессов. Также мы запустили новую публичную платформу собственной разработки — MWS Cloud Platform.

Команда создает интеллектуальную платформу для анализа клиентских данных и управления коммуникациями. Основной фокус — на глубоком изучении голоса, стиля общения и предпочтений клиентов, что позволяет формировать персонализированные решения.

Задачи

переводить модели и прототипы DS в production, разворачивать и оптимизировать их по скорости и использованию вычислительных ресурсов;
разрабатывать и поддерживать data pipelines;
настраивать получение данных из внутренних систем, БД, API и файловых хранилищ;
работать с контейнерами, конфигурацией, логированием и мониторингом сервисов.
решать типовые инфраструктурные и частично DevOps-задачи, включая требования ИБ;
настраивать регулярный запуск и устойчивую работу процессов, стандартизировать разработку и выкладку новых сценариев;
использовать AI-инструменты для написания, тестирования и доработки кода;
менторить стажёра.

Требования

опыт разработки data pipelines и внедрения AI/ML/LLM-решений в production;
опыт проектирования и реализации ETL-процессов «под ключ», включая создание компонентов автоматизации;
навыки написания пайплайнов и автоматизации процессов на Python;
уверенное знание SQL;
опыт работы с API, БД и внутренними источниками данных;
умение самостоятельно разбираться в существующих процессах и доводить прототипы до стабильного production-решения.
БУДЕТ ПЛЮСОМ:
понимание Linux, сетей и эксплуатации сервисов;
уверенная работа с Docker, K8s;
понимание оркестрации процессов и CI/CD.

Условия

собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability - не будут для вас проблемой, вы сможете сосредоточиться на фичах;
профессиональные гильдии инженеров по направлениям, чтобы поддерживать друг друга и обмениваться опытом;
внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;
участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре Hello, conference!
полезные курсы и вебинары в корпоративном университете и электронные библиотеки.
А ЕЩЕ:
медицинскую страховку с 1 месяца со 100% покрытием расходов, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой;
единую подписку МТС Premium — KION light в онлайн-кинотеатре KION, сервис МТС Music, 30 дней бесплатного пользования подпиской OZON Premium;
скидки и предложения от партнеров на фитнес, занятия английским и прочее;
отпуск 28 календарных дней + 3 дополнительных дня за ненормированный/гибкий рабочий день;
гибридный и удаленный формат в зависимости от локации.