Senior Data Engineer (Python)

Core Портал продавцов — это юнит со всеми продуктами WB для продавцов. Здесь есть личный кабинет, загрузка и хранение контента, интеграция с поиском и каталогом, баланс продавца, отгрузка товаров и доставка до покупателя, аналитика и многое другое. Это 1/4 всего бизнеса WB. В сервисе более 1 млн. поставщиков, ежедневный оборот - 5 млрд. рублей.

Вам предстоит:
—Участвовать в разработке data-transfer инструмента, который позволит автоматизировать процесс перегрузки данных с различных источников;
— Формировать хранилище данных на HDFS и ClickHouse;
— Дорабатывать и оптимизировать существующие, а также писать новые Airflow-операторы;
— Оптимизировать интеграции со стриминговыми источниками данных (Kafka);
— Формировать витрины для аналитики и поставлять их в BI-инструмент.

Формат работы: удаленный формат

Вы нам подойдете, если:
— Имеете уверенный опыт программирования на Python (от 5 лет);
— Имеете опыт работы с Java/Scala (Flink огромным плюсом);
— Имеете опыт с hadoop (spark/yarn/hdfs/hive), с apache Airflow / Dagster и со Spark (Pyspark);
— Имеете опыт в оптимизации SQL запросов (индексы, партицирование, шардирование и тд);
— Имеете опыт работы с MPP СУБД (ClickHouse/GreenPlum/Vertica).

В Т‑Банк большое и продвинутое хранилище данных: это 8000 объектов, 800 ТБ в Greenplum и 110 ТБ в Clickhouse. С данными активно работают более 16 тысяч пользователей из бизнес-команд — они ежедневно принимают десятки решений с опорой на них. А наша команда делает все, чтобы доступ к данным был простым и ими было удобно пользоваться. Мы постоянно совершенствуем подходы к работе и стараемся быть новаторами на рынке технологий. Мы ищем в команду дата-инженера. В Т‑Банке вы сможете развиваться в одном из двух направлений — системном анализе и ETL-разработке. Или совмещать их, если вам интересны оба.

• Участвовать в формировании модели данных
• Проектировать и разрабатывать витрины и потоки данных на основе потребностей бизнес-пользователей
• Участвовать в проектах по развитию Data Platform
• Писать скрипты SQL и Python, это опционально
• Прорабатывать интеграции с внешними системами для Data Platform

• Свободно владеете SQL
• Работали с DWH в качестве аналитика или разработчика
• Понимаете теорию СУБД- и ETL-процессов
• Есть опыт проектирования объектов БД на основании бизнес требований

• Возможность работы в аккредитованной ИТ-компании
• Работу из офиса. График работы — гибридный
• Платформу обучения и развития Т-Апгрейд. Курсы, тренинги, вебинары и базы знаний. Поддержка менторов и наставников, помощь в поиске точек роста и карьерном развитии
• Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. Предложим льготное страхование вашим близким
• Компенсацию такси и затрат на спорт
• Компенсацию обедов. А если захотите перекусить, есть кухня с чаем, кофе и фруктами
• Достойную зарплату — обсудим ее на собеседовании