Senior Data Engineer (Python)

Мы проектируем и внедряем ключевые элементы архитектуры российского сегмента сети Интернет. Являемся разработчиком передовых программно-аппаратных комплексов для управления телеком-инфраструктурой.

Входим в контур группы компаний ПАО «Ростелеком» и являемся стратегическим активом АО «Градиент». Наши аппаратные платформы развернуты на сетях передачи данных ведущих федеральных операторов связи.

Разработка ведется в рамках стратегических государственных инициатив по цифровому суверенитету страны. Среди организаций, доверяющих нашим технологиям, — профильные ведомства федерального уровня: Роскомнадзор и Минцифры России.

О проекте:

Мы развиваем систему постанализа сетевого трафика, работающую с высоконагруженными потоками данных.

Система агрегирует данные из сотен источников, обрабатывает входной стриминг на уровне сотен тысяч событий в секунду и продолжает масштабироваться — в ближайшее время планируется подключение более 10 дополнительных источников данных.

Чем предстоит заниматься:

• Проектирование и реализация сложных batch и streaming пайплайнов в новом Lakehouse-стеке;
• Участие в построении новой data-платформы с нуля;
• Проектирование схем хранения и оптимизация Iceberg-таблиц;
• Оптимизация Spark и Trino под highload и near-real-time требования;
• Проектирование решений с учётом роста объёмов данных и нагрузки;
• Разбор и устранение сложных инцидентов производительности;
• Внедрение и развитие практик Data Quality;
• Проведение код-ревью;
• Менторинг старших инженеров и инженеров данных;
• Принятие технических решений в рамках архитектуры платформы.

Что мы ожидаем:

1. Глубокая инженерная экспертиза.
• 5+ лет опыта в Data Engineering;
• Продвинутый опыт работы со Spark (batch и streaming);
• Практический опыт построения потоковой обработки на Flink;
• Отличное знание SQL и опыт оптимизации под большие объёмы данных;
• Уверенное понимание брокеров сообщений: гарантии доставки, порядок, дубли, поведение при переполнении. Не привязано к продукту — у нас Kafka, но важен принцип;
• Уверенное владение Python, включая PySpark;
• Уверенное владение Java: потоковые джобы пишутся на ней;
• Опыт работы с Trino.

2. Работа с распределёнными системами.
• Опыт работы с distributed storage (S3 или аналоги);
• Понимание принципов Data Lake / Lakehouse;
• Опыт проектирования таблиц под большие объёмы данных (partitioning, compaction, storage layout);
• Опыт работы с Iceberg / Delta Lake или глубокое понимание их принципов;
• Понимание принципов построения отказоустойчивых и горизонтально
масштабируемых data-систем.

3. Проектирование и развитие новой платформы.
• Опыт проектирования и построения data-платформ или крупных подсистем с нуля;
• Понимание принципов построения Lakehouse-архитектуры;
• Опыт выбора и обоснования технических решений на уровне отдельных
компонентов и пайплайнов;
• Понимание подходов к масштабированию платформы при росте объёмов данных и нагрузки;
• Опыт проектирования решений с учётом отказоустойчивости, производительности и эксплуатационных требований.

4. Производительность и надёжность.
• Опыт оптимизации Spark-job'ов;
• Понимание причин деградации производительности в distributed-среде;
• Опыт работы с highload-потоками;
• Опыт внедрения и поддержки Data Quality механизмов;
• Понимание SLA витрин и требований к near-real-time обработке;
• Опыт работы с потоками, где задержка от источника до хранилища нормирована;
• Опыт инструментирования пайплайнов метриками и построения по ним
оповещений;
• Опыт разбора сложных проблем производительности и поиска bottleneck'ов в распределённых системах.

5. Техническое лидерство (execution-level).
• Опыт проектирования сложных пайплайнов;
• Опыт код-ревью;
• Способность самостоятельно принимать технические решения в рамках архитектуры;
• Умение декомпозировать сложные инженерные задачи.

Будет плюсом:

• Опыт работы с различными типами СУБД и хранилищ данных: RDBMS, columnoriented, Graph DB, Search / Full-text engines;
• Опыт работы с Kubernetes;
• Понимание практик Infrastructure as Code;
• Опыт работы с GitOps;
• Опыт работы с protobuf и Parquet;
• Опыт работы с ClickHouse;
• Опыт работы с каталогом данных: описания, происхождение данных, проверки качества;
• Опыт работы с BI-системами, в частности Apache Superset;
• Понимание различных моделей данных (Star / Snowflake, Data Vault, Anchor Modeling);
• Понимание предметной области: сетевой трафик, потоки и сессии, SNI / IP.

Условия работы:

• Работа в аккредитованной IT компании;
• Трудоустройство в соответствии с ТК РФ;

• Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью);

• График работы: 5/2;
• Возможность работать удаленно;
• Офис находится в БЦ "Трио" на метро Динамо (или мцд Гражданская);
• И плюшки ниже :) ↴

ЭР-Телеком Холдинг — один из лидеров российского телеком-рынка, предоставляющий инновационные услуги для миллионов клиентов по всей стране. Мы ценим вызов, надежность и честность, развиваем цифровую инфраструктуру для жизни и создаём условия для профессионального роста каждого сотрудника. Присоединяйтесь к команде, которая меняет будущее!

Чем предстоит заниматься

• Проектировать и реинжинирить корпоративное хранилище данных (DWH) и целевую структуру Data Lake: логические и физические модели, выбор технологического стека, оценка архитектурных рисков;
• Разрабатывать и поддерживать ETL/ELT-процессы: извлечение данных из биллинговых и других ИС, очистка, обогащение, агрегация, загрузка в хранилище;
• Писать production-код на SQL, PL/SQL и Python: витрины данных, скрипты обработки, интеграции по REST/SOAP API;
• Оптимизировать производительность: хинты, индексы, партиционирование, материализованные представления, рефакторинг ETL-процессов и объектов хранилища;
• Обеспечивать качество данных: автоматизированные DQ-проверки, мониторинг своевременности загрузки, анализ инцидентов и корректирующие действия;
• Настраивать ролевую модель доступа и обеспечивать безопасность данных (152-ФЗ / GDPR);
• Интегрировать хранилище с BI-инструментами, микросервисами и внешними платформами;
• Выстраивать процессы CI/CD для данных: автотестирование, релизы, мониторинг.
• Вести документацию: архитектурные диаграммы, регламенты, метаданные; разрабатывать инструменты автодокументации;
• Проводить code review и архитектурные ревью, формировать инженерные стандарты команды;
• Наставлять junior/middle-разработчиков, участвовать в подборе кандидатов;
• Взаимодействовать с бизнес-заказчиками, стейкхолдерами и командами смежных ИС; участвовать в планировании и оценке трудоёмкости задач.

Что мы ожидаем от кандидата

• Опыт проектирования и оптимизации DWH / Data Lake от 3 лет;
• Высшее профильное образование;
• Уверенное владение SQL и PL/SQL: оконные функции, CTE, чтение планов выполнения, оптимизация запросов;
• Опыт разработки ETL-процессов на промышленном инструменте (Airflow, ODI, Talend, SSIS, Pentaho, NiFi или аналог);
• Уверенный Python для скриптов и обработки данных;
• Понимание принципов OLTP и OLAP, различий и сценариев применения;
• Опыт работы с реляционными (SQL) и нереляционными (NoSQL) базами данных;
• Знание API: протоколы REST/SOAP, JSON; опыт работы с шинами данных (ESB) и брокерами очередей (Kafka, RabbitMQ);
• Опыт разработки витрин данных на основе биллинговых или аналогичных ИС№
• Понимание методов управления качеством больших данных;
• Опыт работы в Agile/Scrum, в кросс-функциональных командах;
• Умение работать в Git, вести документацию в Jira / Confluence.

Будет плюсом:

• Сертификаты в области архитектуры хранилищ данных, Big Data или SQL;
• Понимание алгоритмов машинного обучения и принципов работы нейросетей;
• Опыт внедрения паттернов Data Mesh / Data Fabric.

Мы предлагаем:

• Работу в федеральном телекоммуникационном Холдинге;
• Трудоустройство согласно ТК РФ;
• Полностью официальную белую заработную плату;
• Для сотрудников действует корпоративный зарплатный проект со специальными выгодными предложениями в Дом.ру Банке (Урал ФД);
• Программу ДМС: доступ к качественным медицинским услугам, лечению без длительных ожиданий, очередей и дополнительных затрат для сотрудников компании;
• Профессиональное и личное развитие, возможности карьерного роста;
• Предоставление корпоративной мобильной связи;
• Работу стабильной команде профессионалов, участие в интересных масштабных проектах;
• Бонусное подключение к телеком-услугам Дом.ru по тарифу «Сотрудник»;
• Корпоративную систему обучения персонала и реальные возможности для роста и развития;
• Скидки на услуги связи, бонусы от партнеров (Best Benefits, Skyeng, Skillbox, S7 и др.) и участие в сообществах по интересам (спорт, здоровое питание, книжный клуб, блогинг и др.).