Python Data Engineer

Задачи

• Проектировать и разрабатывать пайплайны обработки данных;
• Поддерживать и развивать DWH/ETL-процессы;
• Рефакторить код;
• Анализировать и переносить источники данных в отчетности.

Требования

• Коммерческий опыт разработки от 3 лет;
• Уверенно владеть MSSQL, T-SQL, SQL, оптимизацией запросов и хранимыми процедурами;
• Иметь опыт работы с Python от 2 лет;
• Иметь опыт работы с Airflow от 1 года: построение и сопровождение DAG, планирование и мониторинг;
• Понимать принципы построения ETL/ELT-пайплайнов, работы с большими объемами данных, обеспечения отказоустойчивости и идемпотентности загрузок;
• Уверенно владеть Git;
• Иметь опыт проектирования и разработки пайплайнов данных с нуля, участвовать в архитектурных решениях;
• Иметь опыт рефакторинга кода, оптимизации производительности запросов и повышения отказоустойчивости;
• Уметь разбираться в чужом коде, самостоятельно прорабатывать технические решения и декомпозировать сложные задачи;
• Иметь опыт работы с инцидентами;
• Иметь опыт аналитических задач по изменению источников данных в отчетности, сверке данных и валидации результатов миграции;
• Не иметь проектов в Лемана, Петрович Тех, ВБ, Озон, Лента Тех, Яндекс Маркет и М.Видео за последние 6 месяцев;
• Будет плюсом опыт работы в e-com.

Условия

• Долгосрочный проект;
• Локация: РФ, в идеале — Москва, Екатеринбург или Саранск.

Itransition is looking for a talented Data Engineer that is willing to solve complex technical issues while developing high quality software systems using modern technologies.

Requirements:

• 2+ years with Python including strong knowledge of data libraries (pandas, multiprocess, Google Cloud SDK)

• 2+ years of experience in ETL/ELT technologies (REST API, GraphQL, DBT, etc. ) and data pipeline orchestration (e.g., Airflow, Astronomer, DBT cloud, etc)

• Hands-on experience with Snowflake

• Problem-solving and root cause analysis in live production systems along with experience querying and transforming large volumes of data, data quality and data validation

• Experience in SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)

• Comfortable working with serialized data format (JSON, AVRO, XML, CSV) as well as compressed and encoded files

• Comfortable with ingesting data using REST APIs, data transformations and data loading/unloading techniques

• English proficiency sufficient to work in an international environment

Nice to have:

• Capable of designing and implementing data pipelines over cloud architecture
• Experience working with CI/CD deployments
• Experience working with GIT

We can offer:

• Projects for such clients as PayPal, Wargaming, Xerox, Philips, adidas and Toyota
• Competitive compensation that depends on your qualification and skills
• Career development system with clear skill qualifications
• Options to work remotely
• Compensation for medical expenses
• English courses online
• Corporate parties and events for employees and their children
• Internal conferences, workshops and meetups for learning and experience sharing
• Gym membership compensation, corporate sport competitions (cybersport included)
• 5 days of paid sick leave per year with no obligation to submit a sick-leave certificate