Data Engineer DWH (Telegram, Python)

Привет! Это команда разработки операционной аналитики.
Наша логистика доставляет миллионы товаров в сутки. Чтобы делать это быстро и качественно, всем точкам нашей сети доставки важно получать оперативную и качественную аналитику.

Задача нашей команды – предоставлять real-time и около real-time аналитику для тысяч наших пользователей на сортировочных центрах, расположенных по всей стране, оперируя терабайтами данных, получаемых от множества внутренних систем.

Наш стек

• ClickHouse, Kafka, Airflow, Grafana, Superset, GitLab.

Вы будете

• Создавать real-time отчетность для сортировочных центров и различных команд в логистике.

• Настраивать интеграцию данных с другими базами данных и сервисами.

• Разрабатывать новые схемы хранения данных и подходы к их обработке, участвовать в оптимизации имеющихся схем.

• Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы.

• Развивать внутренний инструментарий команды.

Нам важно

• Опыт работы с обработкой больших данных и колоночными СУБД.

• Продвинутое знание SQL.

• Опыт разработки на Python.

• Опыт в оптимизации производительности запросов и ETL процессов.

• Уверенный технический бэкграунд (вы представляете себе, что такое контейнеры, K8s, Kafka, CI/CD и т. д).

Будет плюсом

• Опыт работы с ClickHouse.

• Опыт работы с Airflow.

• Опыт работы с Prometheus.

Чем предстоит заниматься:

• Писать пайплайны на Python: от сырых данных с проездов до витрин и обучающих датасетов;
• Считать метрики автономии: удержание в полосе, локализация, качество восприятия;
• Собирать датасеты для нейросетей: фильтры, баланс, авторазметка, шаринг между командами;
• Гонять инференс в проде на десятках GPU — авторазметка, эмбеддинги, каскады моделей;
• Ускорять тяжёлую обработку;
• Развивать внутренние библиотеки.

Что мы ждём от кандидата:

• Опыт промышленной разработки на Python: читаемый production-код, ревью, тесты;
• Хорошее знание SQL (джойны, оконные функции) и опыт работы с колоночными СУБД — у нас основной склад аналитики ClickHouse;
• Опыт работы с объектным хранилищем (S3 / совместимым): чтение/запись больших объёмов, партиционирование, работа с путями и метаданными;
• Опыт построения или поддержки data-пайплайнов в оркестраторах (Airflow, Dagster, Argo);
• Готовность разбираться в доменных данных (rosbag / сенсоры / логи машин) и доводить пайплайны до стабильного продакшена.

Будет плюсом:

• Практический опыт со Spark;
• Опыт с Kubernetes (джобы, ресурсы, дебаг падений подов) и/или Docker;
• Запуск инференса / ML-шагов в пайплайнах: GPU, батчи, ClearML / аналог, torch;
• Разработка внутренних Python-библиотек или data-platform компонентов;
• знакомство с ROS / LiDAR.

Примеры реальных задач:

• Спроектировать систему сбора и хранения данных для обучающего датасета с версионированием, с возможностью частичного пересчета, а также использованием преагрегатов и заданным SLA на обработку;
• Синхронизировать данные, идущих с разной частотой: IMU 100 Гц, видео 30 Гц и лидар 10 Гц;
• Реализовать систему семантического поиска похожих ситуаций с использованием эмбеддингов и векторных баз данных.

Ozon Банк расширяется, поэтому мы ищем Старшего дата-инженера в команду платформы данных. Специалисты автоматизируют ETL-процессы, разрабатывают компонентные решения для аналитиков и внедряют новые инструменты работы с данными.

Всё это необходимо, чтобы правильно и быстро реагировать на изменяющиеся потребности бизнеса, оптимизировать процессы и создавать мощную основу для принятия стратегических решений.

Наш стек: Python, Airflow, ClickHouse, PostgreSQL, Vertica, Kafka, S3, Spark, Hadoop, FastAPI, Flask, Kubernetes, Helm, Superset, Prometheus, Grafana, GitLab, Jira, Confluence.

Вам предстоит:

• Разрабатывать инструменты доставки данных.

• Проектировать и реализовывать фабрики пайплайнов.

• Обновлять актуальные данные и следить за их своевременным поступлением.

• Строить систему качества данных.

• Обучать аналитиков и дата-сайентистов современным практикам работы с данными.

• Настраивать и поддерживать системы мониторинга и алертинга.

Для нас важно, что вы:

• Более 3 лет работаете на языке Python.

• Более 3 лет работаете дата-инженером — знаете Apache Spark (PySpark), понимаете принципы работы СУБД и умеете оптимизировать запросы.

• Знаете, как работать с ClickHouse, PostgreSQL, Vertica.

• Понимаете принципы работы хранилища данных.

• Умеете писать компоненты Airflow.

• Поддерживаете порядок в коде, Git и документации.

• Тестируете свои решения при помощи Pytest.

• Умеете и любите быстро учиться, сразу применяете новые знания, можете самостоятельно находить ответы на сложные вопросы.

• Имеете высшее техническое образование.

Будет плюсом, если вы:

• Умеете работать с Kubernetes, Prometheus, Superset, Helm, FastAPI, Flask.

• Имеете опыт общения с аналитиками и дата-сайентистами.