Middle Data Engineer — Snowflake / dbt / Azure (Python)

Привет! Это команда разработки операционной аналитики.
Наша логистика доставляет миллионы товаров в сутки. Чтобы делать это быстро и качественно, всем точкам нашей сети доставки важно получать оперативную и качественную аналитику.

Задача нашей команды – предоставлять real-time и около real-time аналитику для тысяч наших пользователей на сортировочных центрах, расположенных по всей стране, оперируя терабайтами данных, получаемых от множества внутренних систем.

Наш стек

• ClickHouse, Kafka, Airflow, Grafana, Superset, GitLab.

Вы будете

• Создавать real-time отчетность для сортировочных центров и различных команд в логистике.

• Настраивать интеграцию данных с другими базами данных и сервисами.

• Разрабатывать новые схемы хранения данных и подходы к их обработке, участвовать в оптимизации имеющихся схем.

• Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы.

• Развивать внутренний инструментарий команды.

Нам важно

• Опыт работы с обработкой больших данных и колоночными СУБД.

• Продвинутое знание SQL.

• Опыт разработки на Python.

• Опыт в оптимизации производительности запросов и ETL процессов.

• Уверенный технический бэкграунд (вы представляете себе, что такое контейнеры, K8s, Kafka, CI/CD и т. д).

Будет плюсом

• Опыт работы с ClickHouse.

• Опыт работы с Airflow.

• Опыт работы с Prometheus.

Чем предстоит заниматься:

• Писать пайплайны на Python: от сырых данных с проездов до витрин и обучающих датасетов;
• Считать метрики автономии: удержание в полосе, локализация, качество восприятия;
• Собирать датасеты для нейросетей: фильтры, баланс, авторазметка, шаринг между командами;
• Гонять инференс в проде на десятках GPU — авторазметка, эмбеддинги, каскады моделей;
• Ускорять тяжёлую обработку;
• Развивать внутренние библиотеки.

Что мы ждём от кандидата:

• Опыт промышленной разработки на Python: читаемый production-код, ревью, тесты;
• Хорошее знание SQL (джойны, оконные функции) и опыт работы с колоночными СУБД — у нас основной склад аналитики ClickHouse;
• Опыт работы с объектным хранилищем (S3 / совместимым): чтение/запись больших объёмов, партиционирование, работа с путями и метаданными;
• Опыт построения или поддержки data-пайплайнов в оркестраторах (Airflow, Dagster, Argo);
• Готовность разбираться в доменных данных (rosbag / сенсоры / логи машин) и доводить пайплайны до стабильного продакшена.

Будет плюсом:

• Практический опыт со Spark;
• Опыт с Kubernetes (джобы, ресурсы, дебаг падений подов) и/или Docker;
• Запуск инференса / ML-шагов в пайплайнах: GPU, батчи, ClearML / аналог, torch;
• Разработка внутренних Python-библиотек или data-platform компонентов;
• знакомство с ROS / LiDAR.

Примеры реальных задач:

• Спроектировать систему сбора и хранения данных для обучающего датасета с версионированием, с возможностью частичного пересчета, а также использованием преагрегатов и заданным SLA на обработку;
• Синхронизировать данные, идущих с разной частотой: IMU 100 Гц, видео 30 Гц и лидар 10 Гц;
• Реализовать систему семантического поиска похожих ситуаций с использованием эмбеддингов и векторных баз данных.