Инженер данных (Python)
Наш стек: Python, Airflow, ClickHouse, Trino, PostgreSQL, Vertica, Kafka, S3, Spark, Hadoop, Kubernetes, Helm, Superset, Prometheus, Grafana, GitLab, Jira, Confluence.
↑ Вакансия с автоподнятиемНаш стек: Python, Airflow, ClickHouse, Trino, PostgreSQL, Vertica, Kafka, S3, Spark, Hadoop, Kubernetes, Helm, Superset, Prometheus, Grafana, GitLab, Jira, Confluence.
Вам предстоит
• разрабатывать и поддерживать пайплайны поставки данных в ClickHouse, Vertica и Trino
• проектировать и реализовывать фабрики data-пайплайнов
• обеспечивать своевременное обновление и поступление актуальных данных
• развивать систему Data Governance
• обучать аналитиков современным практикам работы с данными
• настраивать и поддерживать системы мониторинга и алертинга
• автоматизировать процессы разработки и аналитики с использованием AI-агентов и agentic development tools
• создавать AI-workflows для типовых инженерных задач и интегрировать их с внутренними инструментами
• стандартизировать технические процессы, проекты и workflows аналитиков данных
Для нас важно, что вы
• более 2 лет работаете с Python
• более 2 лет работаете Data Engineer: знаете Apache Spark (PySpark), понимаете принципы работы СУБД и умеете оптимизировать запросы
• умеете работать с ClickHouse, PostgreSQL и Trino
• понимаете принципы построения и работы хранилищ данных
• имеете практический опыт использования AI-агентов и agentic development tools (Claude Code / Codex / OpenCode или аналоги) для решения инженерных задач
• понимаете принципы работы с контекстом, инструкциями, tools/skills и многошаговыми agentic workflows
• умеете разрабатывать компоненты Airflow
• поддерживаете порядок в коде, Git и документации
• умеете и любите быстро учиться, применять новые знания на практике и самостоятельно находить ответы на сложные вопросы
• имеете высшее техническое образование
Будет плюсом, если вы
• имеете опыт работы с CI/CD
• умеете работать с Kubernetes, Prometheus, Superset и Helm
• имеете опыт взаимодействия с аналитиками и Data Scientists
• создавали собственных AI-агентов, skills/tools, MCP-интеграции или многошаговые AI-workflows для автоматизации инженерных процессов
Похожие вакансии Data Engineer
Привет! Это команда разработки операционной аналитики.
Наша логистика доставляет миллионы товаров в сутки. Чтобы делать это быстро и качественно, всем точкам нашей сети доставки важно получать оперативную и качественную аналитику.
Задача нашей команды – предоставлять real-time и около real-time аналитику для тысяч наших пользователей на сортировочных центрах, расположенных по всей стране, оперируя терабайтами данных, получаемых от множества внутренних систем.
Наш стек
ClickHouse, Kafka, Airflow, Grafana, Superset, GitLab.
Вы будете
Создавать real-time отчетность для сортировочных центров и различных команд в логистике.
Настраивать интеграцию данных с другими базами данных и сервисами.
Разрабатывать новые схемы хранения данных и подходы к их обработке, участвовать в оптимизации имеющихся схем.
Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы.
Развивать внутренний инструментарий команды.
Нам важно
Опыт работы с обработкой больших данных и колоночными СУБД.
Продвинутое знание SQL.
Опыт разработки на Python.
Опыт в оптимизации производительности запросов и ETL процессов.
Уверенный технический бэкграунд (вы представляете себе, что такое контейнеры, K8s, Kafka, CI/CD и т. д).
Будет плюсом
Опыт работы с ClickHouse.
Опыт работы с Airflow.
Опыт работы с Prometheus.
Чем предстоит заниматься:
- Писать пайплайны на Python: от сырых данных с проездов до витрин и обучающих датасетов;
- Считать метрики автономии: удержание в полосе, локализация, качество восприятия;
- Собирать датасеты для нейросетей: фильтры, баланс, авторазметка, шаринг между командами;
- Гонять инференс в проде на десятках GPU — авторазметка, эмбеддинги, каскады моделей;
- Ускорять тяжёлую обработку;
- Развивать внутренние библиотеки.
Что мы ждём от кандидата:
- Опыт промышленной разработки на Python: читаемый production-код, ревью, тесты;
- Хорошее знание SQL (джойны, оконные функции) и опыт работы с колоночными СУБД — у нас основной склад аналитики ClickHouse;
- Опыт работы с объектным хранилищем (S3 / совместимым): чтение/запись больших объёмов, партиционирование, работа с путями и метаданными;
- Опыт построения или поддержки data-пайплайнов в оркестраторах (Airflow, Dagster, Argo);
- Готовность разбираться в доменных данных (rosbag / сенсоры / логи машин) и доводить пайплайны до стабильного продакшена.
Будет плюсом:
- Практический опыт со Spark;
- Опыт с Kubernetes (джобы, ресурсы, дебаг падений подов) и/или Docker;
- Запуск инференса / ML-шагов в пайплайнах: GPU, батчи, ClearML / аналог, torch;
- Разработка внутренних Python-библиотек или data-platform компонентов;
- знакомство с ROS / LiDAR.
Примеры реальных задач:
- Спроектировать систему сбора и хранения данных для обучающего датасета с версионированием, с возможностью частичного пересчета, а также использованием преагрегатов и заданным SLA на обработку;
- Синхронизировать данные, идущих с разной частотой: IMU 100 Гц, видео 30 Гц и лидар 10 Гц;
- Реализовать систему семантического поиска похожих ситуаций с использованием эмбеддингов и векторных баз данных.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.