Data Platform Engineer (Python, FastAPI)
Компания "Retail Expert" - поставщик данных о ритейле, который берет на себя не только сбор, структурирование и подготовку информации к анализу, но и сам анализ.
Компания "Retail Expert" - поставщик данных о ритейле, который берет на себя не только сбор, структурирование и подготовку информации к анализу, но и сам анализ.
Мы специализируемся в IT разработках и продаже аналитики, исследований и консалтинга для ТОПов FMCG уже более 10 лет.
Наша миссия — обеспечить нашим клиентам максимально точное определение настоящего и планирование их будущего.
Наши эксперты всегда идут в ногу со временем и используют в своей работе передовые технологии, чтобы обеспечить сервис высокого уровня быстро, качественно и эффективно.
В данный момент, в рамках плановой трансформации процессов и поддержки текущих бизнес-задач, мы находимся в поисках Data Platform Engineer, который совмещает data engineering, backend и platform: проектирует архитектуру, развивает ETL и Python-проекты, поддерживает сервисы и инфраструктуру - от MSSQL и Airflow до Docker/Kubernetes и мониторинга.
Чем предстоит заниматься:-
Разработка ETL/ELT пайплайнов: Проектирование и реализация инкрементальной загрузки и трансформации больших объемов данных с использованием PySpark.
-
Проектирование DWH и витрин: Создание схем таблиц в ClickHouse для витрин, кубов и отчетности Power BI. Настройка движков MergeTree, партиционирования, materialized views и оптимизация производительности запросов.
-
Построение Lakehouse-архитектуры: Развитие слоя хранения с нуля (Raw → Staging → Marts) на базе S3-совместимого хранилища с использованием форматов Parquet и Apache Iceberg.
-
Миграция данных: Перенос логики и данных из legacy-систем (MSSQL, хранимые процедуры) в новую целевую архитектуру.
-
Поддержка и оптимизация Python-пайплайнов: Работа с текущим стеком на Python/Polars (хеширование, дробление файлов), рефакторинг и повышение отказоустойчивости.
-
Оркестрация: Разработка и поддержка DAG-ов в Apache Airflow для управления всеми процессами обработки данных.
-
Проактивная оптимизация: Самостоятельный поиск узких мест в текущих решениях, предложение и реализация улучшений без ожидания отдельной постановки задачи.
Требования
Hard skills:
- Python (продвинутый): pandas, Polars, PySpark, FastAPI(написание пайпланов как код)
- SQL / MSSQL / PG - проектирование БД, оптимизация запросов
- Apache Airflow - разработка и поддержка DAG-ов
- PySpark - трансформация и агрегация данных
- Data Lake / Lakehouse: S3, Parquet, Iceberg
- Docker - контейнеризация, деплой и оркестрация сервисов
- ClickHouse — именно проектирование схем, не только SELECT
- Pandas, Polars
Будет плюсом:
- опыт с dbt, Great Expectations, Trino, опыт работы с LLM в разработке
- Работа с продакшн-данными
- Возможность работать с реальной задачей — построить Lakehouse и схемы ClickHouse практически с нуля, а не поддерживать чужое
- Офис на м. Бутырская
- Официальное трудоустройство
- Конкурентную зарплату по итогам собеседования
Похожие вакансии Data Engineer
Обязанности
Исправлять существующие фичи: выявлять причины остановки наполнения, исправлять логику и ставить задачи технической команде
Создавать новые фичи: определять требования к данным, формулировать прототип и ставить задачи в бэклог
Оценивать финансовую эффективность применения фичей (количество выдач, время обработки заявок, точность прогнозов и другие показатели)
Документировать информацию о новых и изменённых фичах в Confluence
Организовывать контроли качества данных: готовить бизнес-описание проверок и писать простые SQL-скрипты
Требования
Базовые знания SQL, Python
Опыт работы с большими данными и знание программных инструментов для анализа данных
Базовые знания реляционных баз данных и понимание различий между типами СУБД
Аналитический склад ума и способность анализировать большой объём информации
Навыки межличностного общения для взаимодействия с разными отделами Банка
Понимание нормативных требований в области обработки данных, включая конфиденциальность и безопасность
Умение запрашивать и обрабатывать обратную связь от наставников
Будет преимуществом работа со Spark, HDFS, Airflow и опыт применения LLM в задачах
Условия
Трудоустройство по ТК
ДМС с топовыми клиниками с первого дня работы
Модный офис в Москве, Питере, Екатеринбурге и Сочи
Корпоративы, тусовки и фирменный мерч в подарок
Возможность поработать над продуктами с миллионной аудиторией
Поддержка и помощь персонального ментора
Наш стек: Python, Airflow, ClickHouse, Trino, PostgreSQL, Vertica, Kafka, S3, Spark, Hadoop, Kubernetes, Helm, Superset, Prometheus, Grafana, GitLab, Jira, Confluence.
Вам предстоит
• разрабатывать и поддерживать пайплайны поставки данных в ClickHouse, Vertica и Trino
• проектировать и реализовывать фабрики data-пайплайнов
• обеспечивать своевременное обновление и поступление актуальных данных
• развивать систему Data Governance
• обучать аналитиков современным практикам работы с данными
• настраивать и поддерживать системы мониторинга и алертинга
• автоматизировать процессы разработки и аналитики с использованием AI-агентов и agentic development tools
• создавать AI-workflows для типовых инженерных задач и интегрировать их с внутренними инструментами
• стандартизировать технические процессы, проекты и workflows аналитиков данных
Для нас важно, что вы
• более 2 лет работаете с Python
• более 2 лет работаете Data Engineer: знаете Apache Spark (PySpark), понимаете принципы работы СУБД и умеете оптимизировать запросы
• умеете работать с ClickHouse, PostgreSQL и Trino
• понимаете принципы построения и работы хранилищ данных
• имеете практический опыт использования AI-агентов и agentic development tools (Claude Code / Codex / OpenCode или аналоги) для решения инженерных задач
• понимаете принципы работы с контекстом, инструкциями, tools/skills и многошаговыми agentic workflows
• умеете разрабатывать компоненты Airflow
• поддерживаете порядок в коде, Git и документации
• умеете и любите быстро учиться, применять новые знания на практике и самостоятельно находить ответы на сложные вопросы
• имеете высшее техническое образование
Будет плюсом, если вы
• имеете опыт работы с CI/CD
• умеете работать с Kubernetes, Prometheus, Superset и Helm
• имеете опыт взаимодействия с аналитиками и Data Scientists
• создавали собственных AI-агентов, skills/tools, MCP-интеграции или многошаговые AI-workflows для автоматизации инженерных процессов
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.