Data engineer (Python, FastAPI)
Мы — команда, отвечающая за функционирование и бесперебойную поставку данных в аналитическую платформу данных розничного бизнеса на базе Greenplum и ClickHouse (промышленные витрины и лаборатория данных для аналитиков, объем данных – сотни…
сбер. it · На сервисе с: 25.09.26 15:23
Мы — команда, отвечающая за функционирование и бесперебойную поставку данных в аналитическую платформу данных розничного бизнеса на базе Greenplum и ClickHouse (промышленные витрины и лаборатория данных для аналитиков, объем данных – сотни Тб). Наша работа — это фундамент, на котором аналитики и data scientists строят свои модели и принимают ключевые бизнес-решения. Мы ищем коллегу, который поможет нам поддерживать и развивать платформу, автоматизировать процессы обработки данных и следить за качеством информации.
Обязанности
- обеспечивать поставку данных: загружать данные на платформы Greenplum и Clickhouse с помощью наших внутренних инструментов. создавать собственные инструменты для поставки данных
- управлять платформой: разрабатывать и внедрять сервисы для автоматизации управления платформой: вакуум, сбор статистики, удаление ненужных таблиц, оптимизация физ.дизайна, выявление токсичной активности и т.д
- мониторить и оптимизировать: отслеживать состояние ETL-процессов в Airflow и собственных решениях) реагировать на сбои, находить и устранять "бутылочные горлышки" в дата-пайплайнах для ускорения загрузки
- автоматизировать рутину: писать скрипты на Python для автоматизации повторяющихся задач по обработке данных
- вести документацию: разрабатывать и поддерживать техническую документацию и базу знаний по нашим процессаму
- участвовать в R&D: тестировать новые технологии и инструменты для улучшения нашей платформы данных.
Требования
- опыт работы: не менее 2 лет в качестве Data Engineer / ETL Developer
- python: написание дагов в Airflow, асинхронность (asyncio), взаимодействие через драйверы (psycopg2, clickhouse-driver), pandas, работа с API, веб-сервисы (FastAPI)
- SQL: Уверенное владение: сложные запросы, оконные функции, CTE, умение читать планы выполнения, оптимизация запросов
- СУБД: Знание архитектуры и опыт работы с МРР СУБД (Greenplum, Teradata, Exadata)
- DWH/ETL: Знание современных принципов обработки данных Опыт разработки ETL-процессов, построения хранилищ и витрин данных
- теоретическая база: Понимание принципов работы реляционных СУБД, архитектуры DWH/витрин данных и ETL/ELT-процессов
- инструменты: Опыт использования планировщиков задач (Airflow или аналоги)
- проактивность: желание развиваться в области инженерии данных, учиться новому и самостоятельно решать сложные проблемы.
- коммуникация и командная работа: способность не только самостоятельно решать задачи, но и эффективно взаимодействовать с другими командами, вы умеете аргументированно доносить свою позицию, договариваться с внутренними бизнес-заказчиками и поставщиками сервисов и координировать совместную работу для достижения общей цели.
- английский: свободное чтение технической документации
- навыки работы с генеративными AI-моделями; опыт
- создания AI-агентов и использования их в работе будет преимуществом
- опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
- инструментальное владение AI для анализа, генерации и автоматизации
Условия
- офисный формат (Поклонная 3к1)
- ежегодный пересмотр зарплаты и годовая премия
- расширенный ДМС и льготное страхование для семьи
- уникальная система обучения Сбера для профессионального и карьерного развития
- выгодная ипотека для сотрудников
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера
- корпоративная пенсионная программа.
Похожие вакансии Data Engineer
Itransition is looking for a talented Data Engineer that is willing to solve complex technical issues while developing high quality software systems using modern technologies.
Requirements:
-
2+ years with Python including strong knowledge of data libraries (pandas, multiprocess, Google Cloud SDK)
-
2+ years of experience in ETL/ELT technologies (REST API, GraphQL, DBT, etc. ) and data pipeline orchestration (e.g., Airflow, Astronomer, DBT cloud, etc)
-
Hands-on experience with Snowflake
-
Problem-solving and root cause analysis in live production systems along with experience querying and transforming large volumes of data, data quality and data validation
-
Experience in SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)
-
Comfortable working with serialized data format (JSON, AVRO, XML, CSV) as well as compressed and encoded files
-
Comfortable with ingesting data using REST APIs, data transformations and data loading/unloading techniques
-
English proficiency sufficient to work in an international environment
Nice to have:
- Capable of designing and implementing data pipelines over cloud architecture
- Experience working with CI/CD deployments
- Experience working with GIT
We can offer:
- Projects for such clients as PayPal, Wargaming, Xerox, Philips, adidas and Toyota
- Competitive compensation that depends on your qualification and skills
- Career development system with clear skill qualifications
- Options to work remotely
- Compensation for medical expenses
- English courses online
- Corporate parties and events for employees and their children
- Internal conferences, workshops and meetups for learning and experience sharing
- Gym membership compensation, corporate sport competitions (cybersport included)
- 5 days of paid sick leave per year with no obligation to submit a sick-leave certificate
Itransition is looking for a talented Data Engineer that is willing to solve complex technical issues while developing high quality software systems using modern technologies.
Requirements:
-
2+ years with Python including strong knowledge of data libraries (pandas, multiprocess, Google Cloud SDK)
-
2+ years of experience in ETL/ELT technologies (REST API, GraphQL, DBT, etc. ) and data pipeline orchestration (e.g., Airflow, Astronomer, DBT cloud, etc)
-
Hands-on experience with Snowflake
-
Problem-solving and root cause analysis in live production systems along with experience querying and transforming large volumes of data, data quality and data validation
-
Experience in SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)
-
Comfortable working with serialized data format (JSON, AVRO, XML, CSV) as well as compressed and encoded files
-
Comfortable with ingesting data using REST APIs, data transformations and data loading/unloading techniques
-
English proficiency sufficient to work in an international environment
Nice to have:
- Capable of designing and implementing data pipelines over cloud architecture
- Experience working with CI/CD deployments
- Experience working with GIT
We can offer:
- Projects for such clients as PayPal, Wargaming, Xerox, Philips, adidas and Toyota
- Competitive compensation that depends on your qualification and skills
- Career development system with clear skill qualifications
- Options to work remotely
- Compensation for medical expenses
- English courses online
- Corporate parties and events for employees and their children
- Internal conferences, workshops and meetups for learning and experience sharing
- Gym membership compensation, corporate sport competitions (cybersport included)
- 5 days of paid sick leave per year with no obligation to submit a sick-leave certificate
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.