яндекс

Data Platform Engineer (NRT/Spark) (Python)

Финтех в Яндексе — это одно из ключевых и наиболее динамично развивающихся направлений компании. Это экосистема финансовых сервисов, встроенная в повседневную жизнь миллионов пользователей и бизнесов. Это молодое, смелое направление, котор…

яндекс · На сервисе с: 24.09.26 14:22

Зарплата не указанаНе указана странаЛокация не указана

Финтех в Яндексе — это одно из ключевых и наиболее динамично развивающихся направлений компании. Это экосистема финансовых сервисов, встроенная в повседневную жизнь миллионов пользователей и бизнесов. Это молодое, смелое направление, которое уже доказало свою пользу и продолжает активно расти.

Ключевые продукты Финтеха: Яндекс Пэй, Сплит, Сейвы, Карта Плюса, кредитные продукты, Яндекс ID, Яндекс Про и многое другое.

Это сложная инженерная и аналитическая среда, где пересекаются высокая нагрузка, большие данные и жёсткие требования регуляторов.

В команду платформенных данных требуется специалист по Apache Spark с глубоким понимаем внутренней архитектуры фреймворка. Основная задача — развитие платформы для обработки NRT-данных (near real time), повышение отказоустойчивости и производительности потоковых процессов.

Вот с чем вам предстоит столкнуться:
* Высокие нагрузки: миллионы транзакций, таблицы с объёмом далеко за 1 млн записей
* Распределённые данные: используются Greenplum, ClickHouse, Hadoop, Spark для обработки огромных массивов информации
* Архитектура DWH: строятся сложные хранилища данных, витрины для отчётности (регуляторной и управленческой), настраиваются ETL-процессы
* Безопасность и интеграция: проработка интеграций с внешними источниками (БКИ, СМЭВ), автоматизация ручных процессов бэк-офиса, работа с автоматизированными банковскими системами

Стек для ежедневных задач:
* Язык: Python (основной для разработки пайплайнов и скриптов)
* Оркестрация: Apache Airflow (разработка пайплайнов)
* Обработка данных: Apache Spark (Spark SQL, DataFrame)
* Запросы: Trino (работа с данными через движок)

Подробнее о нас — на странице Финтеха.

Проектирование и развитие облачной дата-платформы

Мы готовимся к кратному росту объёмов обрабатываемых данных. Вы будете оптимизировать инфраструктуру и проектировать новые компоненты платформы с использованием облачных технологий Yandex Cloud.

Построение единой observability-платформы для таблиц DWH

Мы обеспечиваем наблюдаемость и контролируемость процессов. Вам предстоит создать единую точку входа для мониторинга статусов сборки, качества данных и анализа зависимостей, включая построение datalineage и процессы логирования.

Ускорение текущих процессов поставки данных

Наша задача — ускорить обработку растущих потоков данных. Вы будете оптимизировать существующие и выстраивать новые надёжные процессы поставки данных, включая процессы взятия снепшотов, загрузки инкрементов напрямую, из аудит-таблиц и CDC, а также внедрять Spark Streaming или аналогичные решения для обеспечения обновления данных с минимальной задержкой.

Построение тестовых окружений

Мы выстраиваем среду безопасной разработки и повышаем надёжность разрабатываемых решений. В ваши задачи войдёт создание изолированных сред разработки, тестирования и предпрода с автоматизированными процессами проверки.

Развитие фреймворков обработки данных

Для ускорения разработки мы создаём low-code-решения. Вам предстоит развивать внутренние фреймворки для загрузки, трансформации и контроля качества данных.

Больше о разработке в Яндексе — в канале Yandex for Developers

* Занимались коммерческой разработкой от четырёх лет
* Глубоко понимаете устройство баз данных: оптимизация запросов, планы выполнения, партиционирование, шардирование и индексы
* Владеете СУБД разного типа: PostgreSQL, Oracle, MongoDB, Greenplum
* Имеете опыт работы с CDC (Change Data Capture): понимаете принципы и умеете реализовывать пайплайны
* Уверенно работаете с S3-совместимыми хранилищами

Похожие вакансии Data Engineer

Соц.сети
D

Senior Data Engineer (Fintech Data)

delivery_heroНа сервисе с: 24.09.26 18:12
Зарплата не указанаГерманияBerlinГибрид

As the world’s pioneering local delivery platform, our mission is to deliver an amazing experience, fast, easy, and to your door. We operate in around 65 countries worldwide, powered by tech, designed by people. As one of Europe’s largest tech platforms, headquartered in Berlin, Germany, Delivery Hero has been listed on the Frankfurt Stock Exchange since 2017 and is part of the MDAX stock market index. We push hard, learn quickly and stay human along the way. It’s this wonderful mix of high performance and real community that makes Delivery Hero a place where ambition and belonging grow side by side. If you’re curious, collaborative and ready to dive deep into meaningful work, you’ll fit right in.

Job Description

We are on the lookout for a Senior Data Engineer (Fintech) to help build the next-generation data foundation for fraud prevention.

Be part of building the financial backbone of Delivery Hero. You’ll develop products that empower millions of customers and merchants, from seamless payments to innovative financial solutions like wallets and credit. Your work will support our path to profitability by creating financial flexibility for users and enabling smooth transactions across our markets.

Our Flink-based streaming platform already powers real-time fraud signals. In this role, you will build and enhance historization capabilities, batch pipelines, data quality framework, and observability tooling to make fraud data reliable, traceable, and easy to use for rule evaluation, model training, inference, and backtesting.

You will work closely with Data Science and Engineering teams and own the full lifecycle of these data solutions, from design and development to operation and continuous improvement.

  • Build accurate, point-in-time-correct datasets for model training, backtesting, and analysis.
  • Design and build scalable batch pipelines that complement our existing Flink-based streaming platform.
  • Develop robust controls for data completeness, freshness, anomaly detection, reconciliation, and business-logic accuracy.
  • Build observability capabilities that surface pipeline failures, data drift, and quality issues before they affect downstream models or fraud rules.
  • Partner with Data Scientists and Fraud Ops to translate fraud-prevention use cases into scalable, resilient data products while maintaining consistency between batch and real-time processing.

Qualifications

Cloud Data Engineering: experience building production data pipelines using Python, Airflow, dbt, and BigQuery on GCP or AWS.

  • Stream Processing: hands-on experience with Apache Flink or a similar framework, including event time, state, checkpointing, and late-arriving data.
  • Data Science Enablement: a strong understanding of feature preparation, model training, backtesting, and inference workflows.
  • Data Quality and Observability: experience building validation frameworks, monitoring, alerting, and data lineage for production systems.
  • Engineering Ownership: a track record of owning data solutions from design and implementation through deployment and operations.

Additional Information

Ensuring you and all our Heroes are looked after, happy, and healthy is always on the menu. Because if you’re in good shape, then we’re in good shape.

  • Make the most of our hybrid working model and join the team for face-to-face connection and collaboration in our beautiful Berlin campus 2 days a week
  • We offer 27 days holiday with an extra day on 2nd and 3rd year of service
  • We will support you in developing yourself and your career growth opportunities: 1.000 € Educational Budget, Language Courses, Parental Support and access to the Udemy Business platform to explore a variety of online courses.
  • Get moving and release those wonderful, mind-boosting endorphins: Health Checkups, Meditation, Gym Subsidy.
  • Cash. Dough. Cheddar. Whatever you call it, we’ll help you with it: Employee Share Purchase Plan, Sabbatical Bank, Public Transportation Ticket Discount, Life & Accident Insurance, Corporate Pension Plan
  • The power of getting together over some food is unrivaled. Here are a few ways to help you do that. All the yum: Digital Meal Vouchers, Food Vouchers, Corporate Discounts. Courses.
  • Wondering what relocating to Berlin is like? In this article, we’ve put together 10 things you should know about moving to Berlin and how Delivery Hero can support you. You can also visit our relocation hub and check out more information about moving to Berlin.
  • Ready to prepare for your interview? Check out the list of the 5 most common interview questions and answers created in collaboration with our recruiters.

Ready to join our team? If you’re excited to grow, collaborate and be part of the world’s leading delivery platform, we’d love to hear from you. Apply today!

We believe diversity and inclusion are key to creating not only an exciting product, but also an amazing customer and employee experience. Fostering this starts with hiring - therefore we do not discriminate on the basis of racial identities, religious beliefs, color, national origin, gender identities or expressions, sexual orientations, age, marital or disability statuses, or any other aspect that makes you, you.

We encourage you to let us know if you need any accommodations or specific accessibility support to ensure a smooth interview experience—just let us know with an email to our Inclusion Officer at inclusion@deliveryhero.com.

Severely disabled applicants with equal qualifications will be given preferential consideration.

You're welcome to share your pronouns (he/she/they) right from the start so we can address you respectfully from our first contact.

hh.ru
рсхб-интех

Middle/Middle+ разработчик ETL/ELT (Антифрод)

рсхб-интехНа сервисе с: 24.09.26 16:57
Зарплата не указанаРоссияМоскваГибрид

Проект реализация DWH и BI в области противодействия мошенническим операциям.

Цель проекта: обеспечение целевых подразделений антифрода инструментами аналитики и подготовки принятия решений для задач предотвращения мошенничества.

ЧТО ВАС ЖДЕТ:

  • Высокая автономность: вы будете исследовать и развивать сквозной процесс от множественных источников данных до форм представлений непосредственным пользователям.
  • Разнообразие данных: для задач домена используются данные практически всех направлений внутри банка и много внешних специфичных данных.
  • Передовой технологический стек и нетривиальные задачи: Графовая аналитика и Graf RAG; Feature Store с возможностью его переиспользования для in-line задач, интеграции результатов AI в бизнес аналитику и так далее.
  • Влияние и бизнес-импакт: у нас высокий спрос на качественные данные как в аналитических задачах, так и в области машинного обучения.

СТЕК:

  • Greenplum (GPDB)
  • Data Vault 2.0
  • Data Warehouse
  • Data Architecture
  • PowerDesigner
  • SQL
  • Data Modeling
  • Banking Data Model
  • General Ledger
  • Data Governance
  • MPP Database
  • ETL Architecture

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

  • Принимать участие в проработке архитектуры ETL и интеграций аналитического хранилища данных (DWH);
  • Проектировать и обеспечивать реализацию потоков ETL в соответствии с выбранной методологией;
  • Управлять физической моделью данных корпоративного хранилища;
  • Формировать стандарты в области данных и контролировать их соблюдение, обеспечивать историзацию и правила качества данных;
  • Взаимодействовать с владельцами данных, бизнес и системными аналитиками;
  • Оптимизировать архитектуру хранилища и обеспечивать ее масштабируемость;
  • Готовить и согласовывать обязательную документацию.

НАШИ ОЖИДАНИЯ ОТ КАНДИДАТА:

  • Опыт работы главным/ведущим инженером ETL/ELT от 3 лет;
  • Глубокое понимание архитектуры корпоративных хранилищ данных;
  • Практический опыт проектирования хранилищ с использованием Greenplum (GPDB), Postgres, Hadoop;
  • Понимание архитектуры Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных;
  • Результативный опыт анализа проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации;
  • Практический опыт работы с отечественными BI решениями;
  • Отличное знание SQL и принципов оптимизации запросов в MPP-системах;
  • Экспертиза и применение архитектурных паттернов загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа;
  • Опыт в проектировании и применение Spark, Impala, Trino, Airflow, Java/Python в промышленном ландшафте данных;
  • Понимание принципов CI/CD, работа с системами контроля версий;
  • Уверенное владение инструментами проектирования:
    - разработка физических моделей;
    - управление репозиторием моделей;
    - поддержка корпоративных стандартов моделирования.

БУДЕТ ПЛЮСОМ:

  • Опыт работы с данными в антифрод-подразделении банка или фин. организации;
  • Опыт проектирования CDM/LDM/PDM в крупных банках;
  • Опыт построения Data Lake / Lakehouse совместно с DWH;
  • Знание подходов Data Governance и Data Quality;
  • Понимание принципов MDM;
  • Опыт работы с StarRocks;
  • Опыт работы с PXF;
  • Знание Agile-подходов к разработке;
  • Экспертиза в банковской предметной области. Вы должны хорошо ориентироваться в банковских данных и понимать структуру основных предметных областей.

ЧТО МЫ ПРЕДЛАГАЕМ:

  • Обучение за счет компании (посещение конференций, курсов, помощь в написании статей на Хабр и т.д.);
  • Вертикальное и горизонтальное развитие: регулярные тренинги, вебинары, митапы;
  • Забота о вашем здоровье: ДМС с первого месяца работы, куда входит стоматология;
  • Прозрачный доход: оклад (по итогам интервью) + ежеквартальные премии по результатам KPI;
  • Гибридный формат работы (2 дня офис, 3 дня удаленно) в Сколково;
  • Дополнительные бонусы от Россельхозбанка для сотрудников группы компаний (Скидки на спортзалы, рестораны, маркетплейсы и т.д.).
Соц.сети
Т

Middle Data Engineer

телекомНа сервисе с: 24.09.26 15:56
Зарплата не указанаРоссияУдалёнка

ID 3659 - Middle Data Engineer

🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм

🏢 Проект: Телеком

💡 Требования:
• Опыт построения ETL-пайплайнов от 3 лет
• Знание Python, SQL
• Опыт работы с озёрами данных и витринами данных
• Понимание качества данных и валидации
• Опыт создания промышленных витрин на Hadoop, PostreSQL
• Готовность прохождения очного интервью с решением задач на Python и SQL на темы: создание ETL-процессов; оркестрация ETL-процессов ; подключение к интерфейсам, для захвата/передачи данных; оптимизация запроса к СУБД; использование очередей; использование LLM

📨 Отклик — через форму: •••••••• или напрямую рекрутеру ••••••••

❗️Откликайтесь только при релевантном опыте.

❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями

❗️Повторный отклик: ID вакансии + сверка.

#Data #Engineer #Удаленно #вакансия

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.