Data Engineer (Python)
В Т‑Банк большое и продвинутое хранилище данных: это 8000 объектов, 800 ТБ в Greenplum и 110 ТБ в Clickhouse.
↑ Вакансия с автоподнятиемВ Т‑Банк большое и продвинутое хранилище данных: это 8000 объектов, 800 ТБ в Greenplum и 110 ТБ в Clickhouse.
С данными активно работают более 16 тысяч пользователей из бизнес-команд — они ежедневно принимают десятки решений с опорой на них. А наша команда делает все, чтобы доступ к данным был простым и ими было удобно пользоваться. Мы постоянно совершенствуем подходы к работе и стараемся быть новаторами на рынке технологий.
Мы ищем в команду дата-инженера. В Т‑Банке вы сможете развиваться в одном из двух направлений — системном анализе и ETL-разработке. Или совмещать их, если вам интересны оба.
Обязанности:- Участвовать в формировании модели данных
- Проектировать и разрабатывать витрины и потоки данных на основе потребностей бизнес-пользователей
- Участвовать в проектах по развитию Data Platform
- Писать скрипты SQL и Python, это опционально
- Прорабатывать интеграции с внешними системами для Data Platform
Требования:
- Свободно владеете SQL
- Работали с базами данных в качестве аналитика или разработчика
- Понимаете теорию СУБД- и ETL-процессов
- Есть опыт проектирования объектов БД на основании бизнес требований
Мы предлагаем:
- Работу в офисе или гибридный формат — по договоренности с руководителем
- Платформу обучения и развития «Т-Банк Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии
- Линейку льготных тарифов на продукты Т-Банка
- Комплексную программу заботы о здоровье. Оформим полис ДМС с широким покрытием и страховку от несчастных случаев. Предложим льготные условия страхования для ваших близких
- Частичную компенсацию затрат на спорт по окончании испытательного срока
- Компенсацию обедов и транспорта в дни посещения офиса
- Well-being-программу, которая помогает улучшить психологическое и физическое здоровье, а также разобраться с юридическими и финансовыми вопросами
- Три дополнительных дня отпуска в год
Похожие вакансии Data Engineer
Привет! Это команда разработки операционной аналитики.
Наша логистика доставляет миллионы товаров в сутки. Чтобы делать это быстро и качественно, всем точкам нашей сети доставки важно получать оперативную и качественную аналитику.
Задача нашей команды – предоставлять real-time и около real-time аналитику для тысяч наших пользователей на сортировочных центрах, расположенных по всей стране, оперируя терабайтами данных, получаемых от множества внутренних систем.
Наш стек
ClickHouse, Kafka, Airflow, Grafana, Superset, GitLab.
Вы будете
Создавать real-time отчетность для сортировочных центров и различных команд в логистике.
Настраивать интеграцию данных с другими базами данных и сервисами.
Разрабатывать новые схемы хранения данных и подходы к их обработке, участвовать в оптимизации имеющихся схем.
Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы.
Развивать внутренний инструментарий команды.
Нам важно
Опыт работы с обработкой больших данных и колоночными СУБД.
Продвинутое знание SQL.
Опыт разработки на Python.
Опыт в оптимизации производительности запросов и ETL процессов.
Уверенный технический бэкграунд (вы представляете себе, что такое контейнеры, K8s, Kafka, CI/CD и т. д).
Будет плюсом
Опыт работы с ClickHouse.
Опыт работы с Airflow.
Опыт работы с Prometheus.
Чем предстоит заниматься:
- Писать пайплайны на Python: от сырых данных с проездов до витрин и обучающих датасетов;
- Считать метрики автономии: удержание в полосе, локализация, качество восприятия;
- Собирать датасеты для нейросетей: фильтры, баланс, авторазметка, шаринг между командами;
- Гонять инференс в проде на десятках GPU — авторазметка, эмбеддинги, каскады моделей;
- Ускорять тяжёлую обработку;
- Развивать внутренние библиотеки.
Что мы ждём от кандидата:
- Опыт промышленной разработки на Python: читаемый production-код, ревью, тесты;
- Хорошее знание SQL (джойны, оконные функции) и опыт работы с колоночными СУБД — у нас основной склад аналитики ClickHouse;
- Опыт работы с объектным хранилищем (S3 / совместимым): чтение/запись больших объёмов, партиционирование, работа с путями и метаданными;
- Опыт построения или поддержки data-пайплайнов в оркестраторах (Airflow, Dagster, Argo);
- Готовность разбираться в доменных данных (rosbag / сенсоры / логи машин) и доводить пайплайны до стабильного продакшена.
Будет плюсом:
- Практический опыт со Spark;
- Опыт с Kubernetes (джобы, ресурсы, дебаг падений подов) и/или Docker;
- Запуск инференса / ML-шагов в пайплайнах: GPU, батчи, ClearML / аналог, torch;
- Разработка внутренних Python-библиотек или data-platform компонентов;
- знакомство с ROS / LiDAR.
Примеры реальных задач:
- Спроектировать систему сбора и хранения данных для обучающего датасета с версионированием, с возможностью частичного пересчета, а также использованием преагрегатов и заданным SLA на обработку;
- Синхронизировать данные, идущих с разной частотой: IMU 100 Гц, видео 30 Гц и лидар 10 Гц;
- Реализовать систему семантического поиска похожих ситуаций с использованием эмбеддингов и векторных баз данных.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.