флаувау

Senior Data Engineer (Python)

Flowwow — международный маркетплейс подарков. Под ним работает Data Platform, которую мы построили с нуля: не «настроили managed-сервисы», а спроектировали и написали сами — от storage-слоя до AI-агентов поверх данных.

флаувау · На сервисе с: 22.06.26 22:04

↑ Вакансия с автоподнятием
Зарплата не указанаРоссияМоскваУдалёнка

Кто мы и что строим

Flowwow — международный маркетплейс подарков. Под ним работает Data Platform, которую мы построили с нуля: не «настроили managed-сервисы», а спроектировали и написали сами — от storage-слоя до AI-агентов поверх данных.

Это lakehouse на Apache Iceberg + Trino, со Spark для тяжёлых вычислений, CDC-пайплайнами на Kafka/Debezium, всё в Kubernetes. Поверх этого — большой слой собственного кода:

  • свой фреймворк Data Vault — моделирование хранилища как код, а не как набор ручных SQL-скриптов;

  • обвязка вокруг Airflow — собственные операторы, хуки, генерация DAG'ов, инструменты тестирования пайплайнов;

  • самописный lineage и инструменты наблюдаемости данных;

  • AI-слой: агенты на LangGraph + MCP, которые расследуют инциденты, анализируют качество данных и помогают команде в рутине.

Мы — команда инженеров, а не операторов ETL. Бо́льшая часть нашей работы — это Python-разработка: библиотеки, фреймворки, сервисы, которыми пользуется вся дата-вертикаль компании.

Почему эта роль интересная

Это позиция Senior DE с сильным уклоном в платформенную разработку. Не «писать пайплайны по тикетам», а проектировать инструменты, из-за которых пайплайны пишутся в разы быстрее — или не пишутся руками вообще.

Вы будете работать с lakehouse-стеком на уровне внутренностей: оптимизация Trino-запросов и работа с коннекторами, maintenance Iceberg-таблиц (компакция, snapshot expiration, position/equality deletes — мы знаем эту боль изнутри), эволюция схем, REST-каталог. Это та глубина, которая редко встречается в продуктовых компаниях.

И второе: мы AI-native команда. Claude Code и аналогичные инструменты — часть ежедневного рабочего процесса, а не эксперимент по пятницам. Мы строим harness-системы вокруг LLM: агентов с инструментами, автоматизацию code review, ассистентов для написания DAG'ов. Если вам близко состояние, когда ты проектируешь систему, а агент под твоим контролем выполняет рутину — вам у нас понравится.

Что нужно делать:

  • Развивать ядро платформы: фреймворк Data Vault, обвязку Airflow, lineage-инструменты — проектировать API, которыми будут пользоваться другие инженеры, и нести за них ответственность.

  • Писать библиотеки и фреймворки на Python: клиенты к источникам, инструменты тестирования пайплайнов, обёртки над инфраструктурой. Чистый код, типизация, тесты, ревью — это у нас норма, а не аспирация.

  • Работать с lakehouse на глубине: Iceberg maintenance и оптимизация layout'а таблиц, тюнинг Trino, Spark-джобы для тяжёлых трансформаций.

  • Строить интеграции с источниками: OLTP-базы, REST/gRPC API, Kafka, файловые хранилища, SaaS-системы — и проектировать унифицированные интерфейсы, чтобы подключение нового источника занимало часы, а не недели.

  • Внедрять AI в инженерные процессы: агенты для расследования инцидентов и анализа качества данных, ассистенты для DAG'ов и code review. У нас уже есть работающая агентная инфраструктура (LangGraph, MCP) — её можно и нужно развивать.

  • Участвовать в архитектурных решениях: выбор технологий, дизайн интерфейсов между компонентами, вынесение best practices в команду.

  • Делать code review и менторить менее опытных коллег.


Наши ожидания:

  • Промышленный опыт от 5 лет в data engineering или backend-разработке с сильным дата-уклоном: production-системы под реальной нагрузкой, ответственность за их эксплуатацию, а не только за написание кода.

  • Python — главное требование. Уровень senior разработчика: ООП, проектирование API библиотек, типизация, тесты, опыт написания переиспользуемых компонентов, которыми пользовались другие люди.

  • Lakehouse-стек на практике. Apache Iceberg (или Delta/Hudi с готовностью быстро переключиться): устройство таблиц, snapshots, компакция, schema evolution. Понимание, чем lakehouse отличается от классического DWH не на уровне статьи на Medium.

  • Trino или другой MPP-движок: архитектура распределённого выполнения, чтение планов запросов, оптимизация, опыт работы с коннекторами.

  • Apache Airflow глубоко: не только разработка DAG'ов, но и внутреннее устройство (scheduler, executors, метаданные), опыт написания собственных операторов и хуков.

  • Apache Spark: PySpark, Spark SQL, понимание модели выполнения.

  • SQL продвинутого уровня: оконные функции, CTE, оптимизация, чтение планов исполнения, работа с большими объёмами.

  • Git, CI/CD — уверенно.

Будет сильным плюсом

  • Опыт разработки внутренних платформенных инструментов или фреймворков, которыми пользуются другие команды.

  • AI-native подход к разработке: активное использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG.

  • Kubernetes: деплой и эксплуатация дата-сервисов, Helm, понимание ресурсной модели.

  • Опыт с CDC (Debezium, Kafka Connect) и стриминговыми пайплайнами.

  • Знание форматов хранения (Parquet: row groups, статистики, predicate pushdown).

  • Опыт работы с системами контроля доступа к данным (OPA, row-level security, маскирование).

Похожие вакансии Data Engineer

Соц.сети
D

Senior Data Engineer (Fintech Data)

delivery_heroНа сервисе с: 24.09.26 18:12
Зарплата не указанаГерманияBerlinГибрид

As the world’s pioneering local delivery platform, our mission is to deliver an amazing experience, fast, easy, and to your door. We operate in around 65 countries worldwide, powered by tech, designed by people. As one of Europe’s largest tech platforms, headquartered in Berlin, Germany, Delivery Hero has been listed on the Frankfurt Stock Exchange since 2017 and is part of the MDAX stock market index. We push hard, learn quickly and stay human along the way. It’s this wonderful mix of high performance and real community that makes Delivery Hero a place where ambition and belonging grow side by side. If you’re curious, collaborative and ready to dive deep into meaningful work, you’ll fit right in.

Job Description

We are on the lookout for a Senior Data Engineer (Fintech) to help build the next-generation data foundation for fraud prevention.

Be part of building the financial backbone of Delivery Hero. You’ll develop products that empower millions of customers and merchants, from seamless payments to innovative financial solutions like wallets and credit. Your work will support our path to profitability by creating financial flexibility for users and enabling smooth transactions across our markets.

Our Flink-based streaming platform already powers real-time fraud signals. In this role, you will build and enhance historization capabilities, batch pipelines, data quality framework, and observability tooling to make fraud data reliable, traceable, and easy to use for rule evaluation, model training, inference, and backtesting.

You will work closely with Data Science and Engineering teams and own the full lifecycle of these data solutions, from design and development to operation and continuous improvement.

  • Build accurate, point-in-time-correct datasets for model training, backtesting, and analysis.
  • Design and build scalable batch pipelines that complement our existing Flink-based streaming platform.
  • Develop robust controls for data completeness, freshness, anomaly detection, reconciliation, and business-logic accuracy.
  • Build observability capabilities that surface pipeline failures, data drift, and quality issues before they affect downstream models or fraud rules.
  • Partner with Data Scientists and Fraud Ops to translate fraud-prevention use cases into scalable, resilient data products while maintaining consistency between batch and real-time processing.

Qualifications

Cloud Data Engineering: experience building production data pipelines using Python, Airflow, dbt, and BigQuery on GCP or AWS.

  • Stream Processing: hands-on experience with Apache Flink or a similar framework, including event time, state, checkpointing, and late-arriving data.
  • Data Science Enablement: a strong understanding of feature preparation, model training, backtesting, and inference workflows.
  • Data Quality and Observability: experience building validation frameworks, monitoring, alerting, and data lineage for production systems.
  • Engineering Ownership: a track record of owning data solutions from design and implementation through deployment and operations.

Additional Information

Ensuring you and all our Heroes are looked after, happy, and healthy is always on the menu. Because if you’re in good shape, then we’re in good shape.

  • Make the most of our hybrid working model and join the team for face-to-face connection and collaboration in our beautiful Berlin campus 2 days a week
  • We offer 27 days holiday with an extra day on 2nd and 3rd year of service
  • We will support you in developing yourself and your career growth opportunities: 1.000 € Educational Budget, Language Courses, Parental Support and access to the Udemy Business platform to explore a variety of online courses.
  • Get moving and release those wonderful, mind-boosting endorphins: Health Checkups, Meditation, Gym Subsidy.
  • Cash. Dough. Cheddar. Whatever you call it, we’ll help you with it: Employee Share Purchase Plan, Sabbatical Bank, Public Transportation Ticket Discount, Life & Accident Insurance, Corporate Pension Plan
  • The power of getting together over some food is unrivaled. Here are a few ways to help you do that. All the yum: Digital Meal Vouchers, Food Vouchers, Corporate Discounts. Courses.
  • Wondering what relocating to Berlin is like? In this article, we’ve put together 10 things you should know about moving to Berlin and how Delivery Hero can support you. You can also visit our relocation hub and check out more information about moving to Berlin.
  • Ready to prepare for your interview? Check out the list of the 5 most common interview questions and answers created in collaboration with our recruiters.

Ready to join our team? If you’re excited to grow, collaborate and be part of the world’s leading delivery platform, we’d love to hear from you. Apply today!

We believe diversity and inclusion are key to creating not only an exciting product, but also an amazing customer and employee experience. Fostering this starts with hiring - therefore we do not discriminate on the basis of racial identities, religious beliefs, color, national origin, gender identities or expressions, sexual orientations, age, marital or disability statuses, or any other aspect that makes you, you.

We encourage you to let us know if you need any accommodations or specific accessibility support to ensure a smooth interview experience—just let us know with an email to our Inclusion Officer at inclusion@deliveryhero.com.

Severely disabled applicants with equal qualifications will be given preferential consideration.

You're welcome to share your pronouns (he/she/they) right from the start so we can address you respectfully from our first contact.

hh.ru
рсхб-интех

Middle/Middle+ разработчик ETL/ELT (Антифрод)

рсхб-интехНа сервисе с: 24.09.26 16:57
Зарплата не указанаРоссияМоскваГибрид

Проект реализация DWH и BI в области противодействия мошенническим операциям.

Цель проекта: обеспечение целевых подразделений антифрода инструментами аналитики и подготовки принятия решений для задач предотвращения мошенничества.

ЧТО ВАС ЖДЕТ:

  • Высокая автономность: вы будете исследовать и развивать сквозной процесс от множественных источников данных до форм представлений непосредственным пользователям.
  • Разнообразие данных: для задач домена используются данные практически всех направлений внутри банка и много внешних специфичных данных.
  • Передовой технологический стек и нетривиальные задачи: Графовая аналитика и Graf RAG; Feature Store с возможностью его переиспользования для in-line задач, интеграции результатов AI в бизнес аналитику и так далее.
  • Влияние и бизнес-импакт: у нас высокий спрос на качественные данные как в аналитических задачах, так и в области машинного обучения.

СТЕК:

  • Greenplum (GPDB)
  • Data Vault 2.0
  • Data Warehouse
  • Data Architecture
  • PowerDesigner
  • SQL
  • Data Modeling
  • Banking Data Model
  • General Ledger
  • Data Governance
  • MPP Database
  • ETL Architecture

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

  • Принимать участие в проработке архитектуры ETL и интеграций аналитического хранилища данных (DWH);
  • Проектировать и обеспечивать реализацию потоков ETL в соответствии с выбранной методологией;
  • Управлять физической моделью данных корпоративного хранилища;
  • Формировать стандарты в области данных и контролировать их соблюдение, обеспечивать историзацию и правила качества данных;
  • Взаимодействовать с владельцами данных, бизнес и системными аналитиками;
  • Оптимизировать архитектуру хранилища и обеспечивать ее масштабируемость;
  • Готовить и согласовывать обязательную документацию.

НАШИ ОЖИДАНИЯ ОТ КАНДИДАТА:

  • Опыт работы главным/ведущим инженером ETL/ELT от 3 лет;
  • Глубокое понимание архитектуры корпоративных хранилищ данных;
  • Практический опыт проектирования хранилищ с использованием Greenplum (GPDB), Postgres, Hadoop;
  • Понимание архитектуры Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных;
  • Результативный опыт анализа проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации;
  • Практический опыт работы с отечественными BI решениями;
  • Отличное знание SQL и принципов оптимизации запросов в MPP-системах;
  • Экспертиза и применение архитектурных паттернов загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа;
  • Опыт в проектировании и применение Spark, Impala, Trino, Airflow, Java/Python в промышленном ландшафте данных;
  • Понимание принципов CI/CD, работа с системами контроля версий;
  • Уверенное владение инструментами проектирования:
    - разработка физических моделей;
    - управление репозиторием моделей;
    - поддержка корпоративных стандартов моделирования.

БУДЕТ ПЛЮСОМ:

  • Опыт работы с данными в антифрод-подразделении банка или фин. организации;
  • Опыт проектирования CDM/LDM/PDM в крупных банках;
  • Опыт построения Data Lake / Lakehouse совместно с DWH;
  • Знание подходов Data Governance и Data Quality;
  • Понимание принципов MDM;
  • Опыт работы с StarRocks;
  • Опыт работы с PXF;
  • Знание Agile-подходов к разработке;
  • Экспертиза в банковской предметной области. Вы должны хорошо ориентироваться в банковских данных и понимать структуру основных предметных областей.

ЧТО МЫ ПРЕДЛАГАЕМ:

  • Обучение за счет компании (посещение конференций, курсов, помощь в написании статей на Хабр и т.д.);
  • Вертикальное и горизонтальное развитие: регулярные тренинги, вебинары, митапы;
  • Забота о вашем здоровье: ДМС с первого месяца работы, куда входит стоматология;
  • Прозрачный доход: оклад (по итогам интервью) + ежеквартальные премии по результатам KPI;
  • Гибридный формат работы (2 дня офис, 3 дня удаленно) в Сколково;
  • Дополнительные бонусы от Россельхозбанка для сотрудников группы компаний (Скидки на спортзалы, рестораны, маркетплейсы и т.д.).
Соц.сети
Т

Middle Data Engineer

телекомНа сервисе с: 24.09.26 15:56
Зарплата не указанаРоссияУдалёнка

ID 3659 - Middle Data Engineer

🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм

🏢 Проект: Телеком

💡 Требования:
• Опыт построения ETL-пайплайнов от 3 лет
• Знание Python, SQL
• Опыт работы с озёрами данных и витринами данных
• Понимание качества данных и валидации
• Опыт создания промышленных витрин на Hadoop, PostreSQL
• Готовность прохождения очного интервью с решением задач на Python и SQL на темы: создание ETL-процессов; оркестрация ETL-процессов ; подключение к интерфейсам, для захвата/передачи данных; оптимизация запроса к СУБД; использование очередей; использование LLM

📨 Отклик — через форму: •••••••• или напрямую рекрутеру ••••••••

❗️Откликайтесь только при релевантном опыте.

❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями

❗️Повторный отклик: ID вакансии + сверка.

#Data #Engineer #Удаленно #вакансия

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.