Старший Инженер по данным [Автоматизированные сервисы МГТС] (Python)
Поддержка и развитие Корпоративного хранилища данных (DWH) и Корпоративный портал отчетности.
↑ Вакансия с автоподнятиемПоддержка и развитие Корпоративного хранилища данных (DWH) и Корпоративный портал отчетности.
Задачи
Разработка и эксплуатация пайплайнов загрузки данных Уверенный Python и SQL;
Опыт интеграции с API, обработки больших и вложенных наборов данных, повторных загрузок, retry, идемпотентности и частичных ошибок;
Работа с распределёнными хранилищами и SQL-движками;
Понимание принципов работы PostgreSQL/Greenplum, колоночных СУБД и распределённых SQL-движков;
Умение анализировать план запроса, оптимизировать JOIN, партиционирование и распределение данных, диагностировать skew, bloat и проблемы производительности;
Желателен опыт Trino, ClickHouse или аналогичных систем;
Опыт проектирования слоёв хранения и моделей данных: staging/bronze, silver, gold, SCD, Data Vault или аналогичные подходы;
Уверенная работа с Git и CI/CD: merge request, тестирование до merge, управление релизами, ручной deploy, rollback и разделение merge/deploy;
Опыт построения и сопровождения регламентных процессов в Airflow, Dagster или аналогичных оркестраторах;
Опыт Docker/Podman, Kubernetes или systemd-контейнеров, Ansible и безопасной работы с секретами.
Требования
Уверенное владение Python и SQL;
Интеграция с API, обработка больших и вложенных наборов данных;
Понимание принципов работы PostgreSQL/Greenplum, колоночных СУБД и распределённых SQL-движков;
Опыт проектирования слоёв хранения и моделей данных: staging/bronze, silver, gold, SCD, Data Vault или аналогичные подходы;
Умение синхронизировать схему, документацию, проверки качества и потребителей данных;
Уверенная работа с Git и CI/CD: merge request, тестирование до merge, управление релизами, ручной deploy, rollback и разделение merge/deploy;
Будет плюсом: Trino, ClickHouse, Iceberg, S3, каталоги наподобие Nessie.
Условия
Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах;
Профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше;
Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;
Участие во внешних IT-мероприятиях. Наши эксперты выступают на ведущих профильных конференциях, таких как HighLoad++, DevOps Conf, Joker, AHA!, Матемаркетинг и другие. А еще мы организуем собственную масштабную конференцию True Tech Day и регулярно проводим митапы для разработчиков и инженеров;
Полезные курсы и вебинары в корпоративном университете и электронную библиотеку;
ДМС с первого месяца работы, включая стоматологию;
Страхование от несчастных случаев с 1 месяца работы. Материальную помощь в сложных жизненных ситуациях;
Отпуск 28 календарных дней;
Прием врачей общей практики и массаж в офисе;
Мобильная связь за счет компании и льготные тарифы для близких;
Подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.
Похожие вакансии Data Engineer
Крупнейший российский видеосервис: ежедневно им пользуются десятки миллионов людей. Перед нами стоит амбициозная задача — развивать видеосервис № 1 в России и внедрять новые технологии.
Задачи
- Руководство и развитие команды дата-инженеров от трёх человек
- Постановка и приоритизация задач, декомпозиция и контроль сроков
- Формирование планов команды и ответственность за выполнение долгосрочных целей
- Работа с заказчиками со стороны бизнеса и продукта: сбор требований, согласование приоритетов, сроков и ожидаемого результата
- Развитие данных и аналитических решений для кабинета автора VK Видео и кабинета артиста VK Музыки, аналитики монетизации и пайплайнов A/B
- Принятие архитектурных решений по DWH и пайплайнам обработки данных
- Ревью архитектуры и кода, контроль качества технических решений
- Участие в сложных технических задачах: Spark, ClickHouse/SQL, Python, поиск и устранение проблем с производительностью пайплайнов
Требования
- Опыт руководства командой Data Engineer от года, от двух человек в прямом подчинении
- Опыт управления delivery: приоритизация, декомпозиция, сроки, roadmap
- Опыт 1:1, развития сотрудников, performance review, найма и онбординга
- Сильный технический бэкграунд в Data Engineering / DWH
- Опыт с Airflow, ClickHouse, Hadoop/YT
- Уверенный SQL, опыт оптимизации запросов и производительности
- Python на уровне разработки, чтения и code review
- Умение работать с большим потоком входящих задач и несколькими заказчиками
- Будет плюсом опыт использования AI-инструментов в разработке и инженерных процессах
Приглашаем присоединиться к проекту направленного на реализацию комплексного решения по индивидуализации ценообразования банковских продуктов физ.лиц. Наша цель – создание автономной расчетной системы для анализа сценариев, поиска оптимального сценария и его реализацию через индивидуальное предложение клиенту с использованием автономных AI агентов. Мы хотим построить передовую в РФ экосистему с принципиально новым клиентским опытом.
Ключевые направления: индивидуализация ценового предложения продуктов кредитов физ.лиц, дебетовых и кредитных карт, вкладов, текущих счетов, инвестиционных продуктов, линейки подписок и пакетов, создание ИТ решения управления лимитами и полномочиями продающих подразделений банка; создание инструментов для расчета экономической эффективности финансовых пилотов.
Обязанности
- проектирование и реализация высоконагруженных распределённых решений на основе Apache Spark
- разработка batch и streaming ETL-процессов
- поддержка архитектуры корпоративных хранилищ данных (DWH, Data Lake, LakeHouse)
- создание и оптимизация запросов на SQL и Spark SQL
- участие в архитектурных сессиях и проектирование дизайна системы
- проведение code review, обеспечение соблюдения стандартов кодирования.
Требования
- опыт разработки на Python от 3-х лет, с использованием pySpark
- опыт работы с python data фреймворками (Pandas/Numpy)
- понимание принципов SDLC и практический опыт создания python приложений с использованием распределенных вычислений, понимание принципов ООП, SOLID, паттернов проектирования
- отличные знания SQL (Advanced) и опыт работы в аналитике данных (DWH, Data Lake, Lake House)
- опыт в построении ETL
- опыт работы с AI инструментами для повышения эффективности
- понимание принципов CI/CD, подходов обеспечения качества.
Будет плюсом:
- инструментальное владение AI для анализа, генерации и автоматизации
- навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
- опыт работы с Kafka, интеграционных взаимодействий (HTTP, REST, GraphQL)
- опыт работы с Docker, Kubernetes
- понимание основ Machine Learning (ML)
- желание развивать навыки в технологиях genAI (Agentic, RAG etc.).
Условия
- только гибридный формат работы, г. Москва, г. Санкт-Петербург, г.Самара
- годовой бонус и ежегодный пересмотр зарплаты
- расширенный ДМС с первого дня и льготное страхование для семьи
- корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.