Инженер данных / DWH инженер

Ищем стажера инженера по данным в команду продукта МТС Cashback — это программа лояльности, которая позволяет получить от экосистемных сервисов МТС максимум впечатлений с большей выгодой и экономить на повседневных покупках у партнёров.

Задачи

Разработка новых и поддержка существующих ETL‑конвейеров;
Написание скриптов для извлечения данных из реляционных/NoSQL‑источников;
Трансформация (очистка, нормализация, обогащение) данных и загрузка их в целевые хранилища;
Мониторинг выполнения DAG‑ов (Airflow);
Выявление и оперативное устранение ошибок загрузки;
Своевременное информирование старших инженеров и бизнес‑пользователей.

Требования

базовые SQL, Python, Linux;
навык работы с Apache Airflow будет плюсом;
студенты 1 - 2 курсов бакалавриата или специалитета, и студенты колледжей, обучающиеся на любом курсе по ИТ-специальности

Условия

Развитие в командах профессионалов и опытный наставник, готовый делиться опытом;
Мобильная связь за счет компании подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети;
Специальные предложения от партнеров и скидки от продуктов экосистемы МТС;
Непрерывное развитие — доступ к курсам и вебинарам корпоративного университета и онлайн-библиотеке.

• Участие в проектировании и разработке хранилищ данных для систем корпоративной отчетности;
• Разработка новых функциональных модулей;
• Разработка и сопровождение агрегатов БД для формирования отчетов;
• Развитие существующих архитектур проектов;
• Оптимизация производительности и улучшение функциональности;
• Перенос существующего функционала в PostgreSql;
• Разработка etl-процессов (использование NiFi), их поддержка и оптимизация;
• Разработка дашбордов.

• Высшее образование по направлению деятельности;
• Знание основных алгоритмов и структуры данных;
• Уверенное владение PL/SQL, PL/PgSQL (junior\middle\senior) (построение сложных запросов и представлений, написание хранимых процедур и функций, триггеров);
• Понимание принципов работы СУБД PostgreSQL;
• Оптимизация запросов: умение читать и писать на ANSI и native Oracle синтаксисе SQL, понимание чужого кода, навыки чтения планов, индексирование;
• PostgreSQL: сложные запросы с JOIN, оконные функции, оптимизация индексов;
• Опыт использования систем контроля версий GIT: ветвление, ревью, разрешение конфликтов;
• Опыт работы с аналитической отчетностью (будет преимуществом);
• Vue 2/ Vue 3, Composition API, понимание реактивности (ref и reactive), Nuxt, TypeScript, Vuetify (будет преимуществом);
• Опыт коммерческой разработки с Vue.js и Nuxt (будет преимуществом);
• Базовые знания объектного хранилища MinIO (будет преимуществом);
• Опыт работы с технологиями Big Data и обработки данных: NiFi или аналогичными инструментами (будет преимуществом);
• Желание находить новые решения, осваивать новые технологии;
• Самостоятельность и ответственность за результат.

• Оформление в соответствии с Трудовым кодексом РФ;
• Конкурентная заработная плата, состоящая из оклада, квартального премирования, ежегодного премирования;
• ДМС включая стоматологию;
• Компенсационный пакет на обучение, лечение, фитнес;
• Компенсация стоимости проезда;
• Частичная компенсация санаторно-курортного лечения и отдыха;
• Дополнительный социальный пакет, мероприятия и санаторно-курортное лечение и отдых для членов Профсоюза.

Привет, на связи компания Centras! Мы находимся в поиске талантливого Data Engineer, который присоединится к новому отделу DataHub!
Вместе с командой вы будете создавать централизованную платформу для сбора, интеграции и подготовки данных холдинга, обеспечивая ими бизнес-продукты, аналитику и принятие решений на основе данных.

Обязанности

• Разрабатывать и поддерживать ETL/ELT-пайплайны для централизованного сбора данных из различных источников холдинга.
• Интегрировать данные из БД, API, файлов, внешних систем и внутренних сервисов.
• Проектировать и развивать модели данных для аналитических и продуктовых задач.
• Создавать и оптимизировать DWH/Data Lake/Data Mart решения.
• Обеспечивать качество, целостность и актуальность данных.
• Автоматизировать процессы загрузки, трансформации и обработки данных.

Требования

• Опыт работы Data Engineer / ETL Developer / Analytics Engineer от 1 года.
• SQL: запросы, CTE, оконные функции, оптимизация.
• Знание Python для обработки данных и автоматизации.
• Опыт построения и поддержки ETL/ELT-пайплайнов.
• Понимание принципов построения DWH, Data Lake и витрин данных.
• Опыт работы с реляционными БД — PostgreSQL / MySQL / ClickHouse или аналогами.
• Понимание принципов моделирования данных и построения аналитических моделей.
• Опыт работы с Git и понимание основных принципов CI/CD.

Будет преимуществом:

• Опыт работы с Apache Airflow или другими оркестраторами.
• Опыт работы с Yandex Cloud / AWS / GCP.
• Опыт с ClickHouse, Greenplum, BigQuery, Spark.
• Опыт построения Data Lake / Lakehouse.
• Знание Kafka и принципов потоковой обработки данных.
• Опыт работы с dbt.
• Понимание Data Governance, MDM и Data Quality.