Senior Data Engineer (Streaming) (Python, Java)

Мы передовое ИТ подразделение, создающее дата платформу на сотни петобайт данных для крупшейшего юнита банка

Нами реализована загрузка, обработка и контроль качества разрозненных данных из сотен систем-источников банка в единое хранилище в Data Lakehouse архитектуре на платформе Hadoop.

Ищем сильных и энергичных дата инженеров для развития нашей платформы в сторону обработки данных в режимах батчевой и потоковой загрузки.

Вы будете работать в сильной команде дата инженеров с сложными инженерными задачами, передовым стеком технологий и самыми большими объемами данных в Европе

Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket.

языки - Python, Java, Scala.

Обязанности

• разработка DWH/DataLake/LakeHouse
• построение поставки данных в Batch
• оптимизация ETL
• разработка и валидация архитектуры данных
• people management – планирование релизов, ресурсов команды
• обеспечение надежности промышленных ETL потоков.

Требования

• отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
• опыт работы с Hadoop, Spark, Iceberg
• опыт работы с оркестраторами (например, Airflow) и CI/CD
• опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)
• опыт кратной оптимизации spark приложений
• практический опыт разработки solution-архитектуры data-продуктов
• практическое знание python на уровне разработки ETL будет преимуществом
• практическое знание java/scala будет преимуществом
• практический опыт создания и защиты архитектуры данных будет преимуществом
• навыки работы с генеративными AI-моделями, опыт использования GigaChat, Kandinsky и аналогов в продуктах
• навыки создания и использования AI-агентов инструментальное владение AI для анализа, генерации и автоматизации.

Условия

• ежегодный пересмотр зарплаты и годовая премия
• расширенный ДМС и льготное страхование для семьи
• уникальная система обучения Сбера для профессионального и карьерного развития
• выгодная ипотека для сотрудников
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа.

Мы — команда, отвечающая за функционирование и бесперебойную поставку данных в аналитическую платформу данных розничного бизнеса на базе Greenplum и ClickHouse (промышленные витрины и лаборатория данных для аналитиков, объем данных – сотни Тб). Наша работа — это фундамент, на котором аналитики и data scientists строят свои модели и принимают ключевые бизнес-решения. Мы ищем коллегу, который поможет нам поддерживать и развивать платформу, автоматизировать процессы обработки данных и следить за качеством информации.

Обязанности

• обеспечивать поставку данных: загружать данные на платформы Greenplum и Clickhouse с помощью наших внутренних инструментов. создавать собственные инструменты для поставки данных
• управлять платформой: разрабатывать и внедрять сервисы для автоматизации управления платформой: вакуум, сбор статистики, удаление ненужных таблиц, оптимизация физ.дизайна, выявление токсичной активности и т.д
• мониторить и оптимизировать: отслеживать состояние ETL-процессов в Airflow и собственных решениях) реагировать на сбои, находить и устранять "бутылочные горлышки" в дата-пайплайнах для ускорения загрузки
• автоматизировать рутину: писать скрипты на Python для автоматизации повторяющихся задач по обработке данных
• вести документацию: разрабатывать и поддерживать техническую документацию и базу знаний по нашим процессаму
• участвовать в R&D: тестировать новые технологии и инструменты для улучшения нашей платформы данных.

Требования

• опыт работы: не менее 2 лет в качестве Data Engineer / ETL Developer
• python: написание дагов в Airflow, асинхронность (asyncio), взаимодействие через драйверы (psycopg2, clickhouse-driver), pandas, работа с API, веб-сервисы (FastAPI)
• SQL: Уверенное владение: сложные запросы, оконные функции, CTE, умение читать планы выполнения, оптимизация запросов
• СУБД: Знание архитектуры и опыт работы с МРР СУБД (Greenplum, Teradata, Exadata)
• DWH/ETL: Знание современных принципов обработки данных Опыт разработки ETL-процессов, построения хранилищ и витрин данных
• теоретическая база: Понимание принципов работы реляционных СУБД, архитектуры DWH/витрин данных и ETL/ELT-процессов
• инструменты: Опыт использования планировщиков задач (Airflow или аналоги)
• проактивность: желание развиваться в области инженерии данных, учиться новому и самостоятельно решать сложные проблемы.
• коммуникация и командная работа: способность не только самостоятельно решать задачи, но и эффективно взаимодействовать с другими командами, вы умеете аргументированно доносить свою позицию, договариваться с внутренними бизнес-заказчиками и поставщиками сервисов и координировать совместную работу для достижения общей цели.
• английский: свободное чтение технической документации
• навыки работы с генеративными AI-моделями; опыт
• создания AI-агентов и использования их в работе будет преимуществом
• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
• инструментальное владение AI для анализа, генерации и автоматизации

Условия

• офисный формат (Поклонная 3к1)
• ежегодный пересмотр зарплаты и годовая премия
• расширенный ДМС и льготное страхование для семьи
• уникальная система обучения Сбера для профессионального и карьерного развития
• выгодная ипотека для сотрудников
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа.

Itransition is looking for a talented Data Engineer that is willing to solve complex technical issues while developing high quality software systems using modern technologies.

Requirements:

• 2+ years with Python including strong knowledge of data libraries (pandas, multiprocess, Google Cloud SDK)

• 2+ years of experience in ETL/ELT technologies (REST API, GraphQL, DBT, etc. ) and data pipeline orchestration (e.g., Airflow, Astronomer, DBT cloud, etc)

• Hands-on experience with Snowflake

• Problem-solving and root cause analysis in live production systems along with experience querying and transforming large volumes of data, data quality and data validation

• Experience in SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)

• Comfortable working with serialized data format (JSON, AVRO, XML, CSV) as well as compressed and encoded files

• Comfortable with ingesting data using REST APIs, data transformations and data loading/unloading techniques

• English proficiency sufficient to work in an international environment

Nice to have:

• Capable of designing and implementing data pipelines over cloud architecture
• Experience working with CI/CD deployments
• Experience working with GIT

We can offer:

• Projects for such clients as PayPal, Wargaming, Xerox, Philips, adidas and Toyota
• Competitive compensation that depends on your qualification and skills
• Career development system with clear skill qualifications
• Options to work remotely
• Compensation for medical expenses
• English courses online
• Corporate parties and events for employees and their children
• Internal conferences, workshops and meetups for learning and experience sharing
• Gym membership compensation, corporate sport competitions (cybersport included)
• 5 days of paid sick leave per year with no obligation to submit a sick-leave certificate