компания скрыта (fintech)

Data Engineer (Python, Rust)

The Data Engineering team is responsible for designing, building, and maintaining the Market Data Platform — a lakehouse infrastructure spanning the full path from raw exchange feeds to reliable, petabyte-scale data for research, backtesti…

компания скрыта (fintech) · На сервисе с: 18.09.26 16:26

5 000–7 000 $ (≈ 423k–592k ₽)Весь мирУдалёнка

The Data Engineering team is responsible for designing, building, and maintaining the Market Data Platform — a lakehouse infrastructure spanning the full path from raw exchange feeds to reliable, petabyte-scale data for research, backtesting, and real-time trading.

Key Responsibilities

  • Capture & Ingestion. Own the full capture path from wire to lake: decode and normalize raw exchange feeds (PCAP, multicast UDP, ITCH, FIX) and vendor sources (OneTick, Refinitiv, Bloomberg, ICE) into a unified canonical model with nanosecond timestamps. Build batch and streaming pipelines (Airflow, Spark, dbt) for tick and reference data. Own L2/L3 order-book reconstruction with gap handling. Provide Python and Rust producer SDKs for internal feed handlers.
  • Storage & Modeling — Apache Iceberg. Own the Iceberg-over-S3 lakehouse: design partitioning, sort orders, and row-group layouts for fast scans; manage schema evolution, snapshots, time travel, compaction, and TTL. Maintain reference data as slowly changing tables with point-in-time correctness for backtests. Drive storage cost optimization through compaction, tiering, and snapshot expiry.
  • Tooling & Libraries. Build libraries for schema management, data contracts, validation, and lineage on top of the Iceberg catalog. Develop shared access services (Spark + Polars) so research, backtesting, and trading share a single normalized data layer, including gap detection and PCAP-vs-lake reconciliation.
  • Reliability & Observability. Embed monitoring, alerting, SLAs/SLOs, and CI/CD across capture and pipeline layers on Kubernetes (EKS). Own data-quality dashboards and incident runbooks for the capture fleet.
  • Collaboration. Partner with Quant Research, Data Science, Backend, and DevOps to translate requirements into platform capabilities and champion market-data engineering best practices.

Qualifications

  • 5+ years of experience building production-grade data systems, with deep knowledge and understanding of the problems that come with running data lakes/lakehouses at scale: data layout and partitioning strategy, ingestion and backfills, small-file and metadata growth, consistency and late-arriving data, query performance, storage cost, and operational failure modes.
  • Hands-on experience with Apache Iceberg (or comparable table formats such as Delta/Hudi): partitioning, schema evolution, snapshots, compaction, and catalog operations; familiarity with Apache Arrow for zero-copy, columnar in-memory interchange.
  • Expert-level Python (incl. Polars and/or PySpark).
  • Modern orchestration (Airflow) and distributed processing/query engines (Apache Spark, StarRocks).
  • Advanced SQL: complex aggregations, window functions, query optimization, partition pruning.
  • Solid fundamentals in Linux, containerization (Docker, Kubernetes/EKS), and cloud object storage (AWS S3).
  • DevOps & observability: CI/CD, infrastructure-as-code (Terraform), GitOps (ArgoCD), and metrics/dashboards/alerting (Grafana, Prometheus).
  • Strong grasp of structured + unstructured/binary data and storage optimization: partitioning, compression, cost management.
  • English fluency (B2+) for documentation and collaboration in an international team.

    Nice to have

  • Experience with market data and/or network packet capture: decoding PCAP, exchange feed protocols (ITCH, FIX/FAST, multicast UDP), order-book reconstruction, and time-series at scale. Willingness to learn this domain is expected.
  • Experience normalizing market data from multiple vendors (OneTick, Refinitiv/Reuters, Bloomberg, ICE) into a unified schema and symbology.
  • Rust, relevant for high-performance capture/decoding.

What we offer

  • Fully remote setup with a daily overlap window from 12:00 to 18:00 GMT+3.
  • Reimbursement for health insurance, sports, and personal development.
  • A genuinely flat structure with real autonomy over how you work.
  • Room to grow the role as the team scales.

Похожие вакансии Data Engineer

Соц.сети
D

Senior Data Engineer (Fintech Data)

delivery_heroНа сервисе с: 24.09.26 18:12
Зарплата не указанаГерманияBerlinГибрид

As the world’s pioneering local delivery platform, our mission is to deliver an amazing experience, fast, easy, and to your door. We operate in around 65 countries worldwide, powered by tech, designed by people. As one of Europe’s largest tech platforms, headquartered in Berlin, Germany, Delivery Hero has been listed on the Frankfurt Stock Exchange since 2017 and is part of the MDAX stock market index. We push hard, learn quickly and stay human along the way. It’s this wonderful mix of high performance and real community that makes Delivery Hero a place where ambition and belonging grow side by side. If you’re curious, collaborative and ready to dive deep into meaningful work, you’ll fit right in.

Job Description

We are on the lookout for a Senior Data Engineer (Fintech) to help build the next-generation data foundation for fraud prevention.

Be part of building the financial backbone of Delivery Hero. You’ll develop products that empower millions of customers and merchants, from seamless payments to innovative financial solutions like wallets and credit. Your work will support our path to profitability by creating financial flexibility for users and enabling smooth transactions across our markets.

Our Flink-based streaming platform already powers real-time fraud signals. In this role, you will build and enhance historization capabilities, batch pipelines, data quality framework, and observability tooling to make fraud data reliable, traceable, and easy to use for rule evaluation, model training, inference, and backtesting.

You will work closely with Data Science and Engineering teams and own the full lifecycle of these data solutions, from design and development to operation and continuous improvement.

  • Build accurate, point-in-time-correct datasets for model training, backtesting, and analysis.
  • Design and build scalable batch pipelines that complement our existing Flink-based streaming platform.
  • Develop robust controls for data completeness, freshness, anomaly detection, reconciliation, and business-logic accuracy.
  • Build observability capabilities that surface pipeline failures, data drift, and quality issues before they affect downstream models or fraud rules.
  • Partner with Data Scientists and Fraud Ops to translate fraud-prevention use cases into scalable, resilient data products while maintaining consistency between batch and real-time processing.

Qualifications

Cloud Data Engineering: experience building production data pipelines using Python, Airflow, dbt, and BigQuery on GCP or AWS.

  • Stream Processing: hands-on experience with Apache Flink or a similar framework, including event time, state, checkpointing, and late-arriving data.
  • Data Science Enablement: a strong understanding of feature preparation, model training, backtesting, and inference workflows.
  • Data Quality and Observability: experience building validation frameworks, monitoring, alerting, and data lineage for production systems.
  • Engineering Ownership: a track record of owning data solutions from design and implementation through deployment and operations.

Additional Information

Ensuring you and all our Heroes are looked after, happy, and healthy is always on the menu. Because if you’re in good shape, then we’re in good shape.

  • Make the most of our hybrid working model and join the team for face-to-face connection and collaboration in our beautiful Berlin campus 2 days a week
  • We offer 27 days holiday with an extra day on 2nd and 3rd year of service
  • We will support you in developing yourself and your career growth opportunities: 1.000 € Educational Budget, Language Courses, Parental Support and access to the Udemy Business platform to explore a variety of online courses.
  • Get moving and release those wonderful, mind-boosting endorphins: Health Checkups, Meditation, Gym Subsidy.
  • Cash. Dough. Cheddar. Whatever you call it, we’ll help you with it: Employee Share Purchase Plan, Sabbatical Bank, Public Transportation Ticket Discount, Life & Accident Insurance, Corporate Pension Plan
  • The power of getting together over some food is unrivaled. Here are a few ways to help you do that. All the yum: Digital Meal Vouchers, Food Vouchers, Corporate Discounts. Courses.
  • Wondering what relocating to Berlin is like? In this article, we’ve put together 10 things you should know about moving to Berlin and how Delivery Hero can support you. You can also visit our relocation hub and check out more information about moving to Berlin.
  • Ready to prepare for your interview? Check out the list of the 5 most common interview questions and answers created in collaboration with our recruiters.

Ready to join our team? If you’re excited to grow, collaborate and be part of the world’s leading delivery platform, we’d love to hear from you. Apply today!

We believe diversity and inclusion are key to creating not only an exciting product, but also an amazing customer and employee experience. Fostering this starts with hiring - therefore we do not discriminate on the basis of racial identities, religious beliefs, color, national origin, gender identities or expressions, sexual orientations, age, marital or disability statuses, or any other aspect that makes you, you.

We encourage you to let us know if you need any accommodations or specific accessibility support to ensure a smooth interview experience—just let us know with an email to our Inclusion Officer at inclusion@deliveryhero.com.

Severely disabled applicants with equal qualifications will be given preferential consideration.

You're welcome to share your pronouns (he/she/they) right from the start so we can address you respectfully from our first contact.

hh.ru
рсхб-интех

Middle/Middle+ разработчик ETL/ELT (Антифрод)

рсхб-интехНа сервисе с: 24.09.26 16:57
Зарплата не указанаРоссияМоскваГибрид

Проект реализация DWH и BI в области противодействия мошенническим операциям.

Цель проекта: обеспечение целевых подразделений антифрода инструментами аналитики и подготовки принятия решений для задач предотвращения мошенничества.

ЧТО ВАС ЖДЕТ:

  • Высокая автономность: вы будете исследовать и развивать сквозной процесс от множественных источников данных до форм представлений непосредственным пользователям.
  • Разнообразие данных: для задач домена используются данные практически всех направлений внутри банка и много внешних специфичных данных.
  • Передовой технологический стек и нетривиальные задачи: Графовая аналитика и Graf RAG; Feature Store с возможностью его переиспользования для in-line задач, интеграции результатов AI в бизнес аналитику и так далее.
  • Влияние и бизнес-импакт: у нас высокий спрос на качественные данные как в аналитических задачах, так и в области машинного обучения.

СТЕК:

  • Greenplum (GPDB)
  • Data Vault 2.0
  • Data Warehouse
  • Data Architecture
  • PowerDesigner
  • SQL
  • Data Modeling
  • Banking Data Model
  • General Ledger
  • Data Governance
  • MPP Database
  • ETL Architecture

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

  • Принимать участие в проработке архитектуры ETL и интеграций аналитического хранилища данных (DWH);
  • Проектировать и обеспечивать реализацию потоков ETL в соответствии с выбранной методологией;
  • Управлять физической моделью данных корпоративного хранилища;
  • Формировать стандарты в области данных и контролировать их соблюдение, обеспечивать историзацию и правила качества данных;
  • Взаимодействовать с владельцами данных, бизнес и системными аналитиками;
  • Оптимизировать архитектуру хранилища и обеспечивать ее масштабируемость;
  • Готовить и согласовывать обязательную документацию.

НАШИ ОЖИДАНИЯ ОТ КАНДИДАТА:

  • Опыт работы главным/ведущим инженером ETL/ELT от 3 лет;
  • Глубокое понимание архитектуры корпоративных хранилищ данных;
  • Практический опыт проектирования хранилищ с использованием Greenplum (GPDB), Postgres, Hadoop;
  • Понимание архитектуры Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных;
  • Результативный опыт анализа проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации;
  • Практический опыт работы с отечественными BI решениями;
  • Отличное знание SQL и принципов оптимизации запросов в MPP-системах;
  • Экспертиза и применение архитектурных паттернов загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа;
  • Опыт в проектировании и применение Spark, Impala, Trino, Airflow, Java/Python в промышленном ландшафте данных;
  • Понимание принципов CI/CD, работа с системами контроля версий;
  • Уверенное владение инструментами проектирования:
    - разработка физических моделей;
    - управление репозиторием моделей;
    - поддержка корпоративных стандартов моделирования.

БУДЕТ ПЛЮСОМ:

  • Опыт работы с данными в антифрод-подразделении банка или фин. организации;
  • Опыт проектирования CDM/LDM/PDM в крупных банках;
  • Опыт построения Data Lake / Lakehouse совместно с DWH;
  • Знание подходов Data Governance и Data Quality;
  • Понимание принципов MDM;
  • Опыт работы с StarRocks;
  • Опыт работы с PXF;
  • Знание Agile-подходов к разработке;
  • Экспертиза в банковской предметной области. Вы должны хорошо ориентироваться в банковских данных и понимать структуру основных предметных областей.

ЧТО МЫ ПРЕДЛАГАЕМ:

  • Обучение за счет компании (посещение конференций, курсов, помощь в написании статей на Хабр и т.д.);
  • Вертикальное и горизонтальное развитие: регулярные тренинги, вебинары, митапы;
  • Забота о вашем здоровье: ДМС с первого месяца работы, куда входит стоматология;
  • Прозрачный доход: оклад (по итогам интервью) + ежеквартальные премии по результатам KPI;
  • Гибридный формат работы (2 дня офис, 3 дня удаленно) в Сколково;
  • Дополнительные бонусы от Россельхозбанка для сотрудников группы компаний (Скидки на спортзалы, рестораны, маркетплейсы и т.д.).
Соц.сети
Т

Middle Data Engineer

телекомНа сервисе с: 24.09.26 15:56
Зарплата не указанаРоссияУдалёнка

ID 3659 - Middle Data Engineer

🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм

🏢 Проект: Телеком

💡 Требования:
• Опыт построения ETL-пайплайнов от 3 лет
• Знание Python, SQL
• Опыт работы с озёрами данных и витринами данных
• Понимание качества данных и валидации
• Опыт создания промышленных витрин на Hadoop, PostreSQL
• Готовность прохождения очного интервью с решением задач на Python и SQL на темы: создание ETL-процессов; оркестрация ETL-процессов ; подключение к интерфейсам, для захвата/передачи данных; оптимизация запроса к СУБД; использование очередей; использование LLM

📨 Отклик — через форму: •••••••• или напрямую рекрутеру ••••••••

❗️Откликайтесь только при релевантном опыте.

❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями

❗️Повторный отклик: ID вакансии + сверка.

#Data #Engineer #Удаленно #вакансия

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.