Data Engineer (Senior) (Python)

Senior Data Engineer (AI-Native project, JR803) в ELEKS

🤩 Удалённо, Польша

🔔 Опубликовано менее 48 часов назад

📸 Разработка программного обеспечения и технологический консалтинг для бизнеса

🤩 Основатель — Олексій Скрипник
🤩 Более 2000 специалистов в офисах в 11 странах, включая США, Канаду, Германию, Польшу и Украину
🤩 Инженерные центры во Львове, Киеве, Ивано-Франковске и Тернополе, штаб-квартира в Таллине

Задачи:
• Проект для одного из крупнейших страховых брокеров мира;
• Разрабатывать надёжные системы с фокусом на производительность и доступность;
• Предлагать рефакторинг и оптимизацию кода;
• Удалённая работа из Польши или Хорватии; в источнике также указана Украина.

🕸 Требования:
• От 4 лет опыта Data Engineer;
• MS SQL, Databricks, T-SQL и Spark, включая оптимизацию производительности;
• Azure Cloud, Python, Delta Sharing и Unity Catalog;
• Английский Upper-Intermediate.

Откликнуться: тут

🚀 Offer Inside

#engineer #project #senior #data #ai⁣⁣⁣​‌​​‌‌‌​​‌‌‌‌​‌​​‌‌​​​‌‌​​‌‌​​‌​​‌​‌‌​‌​​‌‌​‌‌​‌​‌​​​‌​‌​‌‌‌‌​‌​​‌​​‌‌‌‌​‌​‌​‌​​​‌‌​‌​‌‌​‌‌‌‌​​​​‌​​‌‌‌​​‌‌‌‌​‌​​‌​​​​​‌​​‌‌​​​‌​‌​​‌‌‌‌​‌​‌​‌​​​‌​​​‌​‌​​‌‌​​​‌​‌​‌‌​‌​​‌​‌​‌​​​‌​‌​‌​‌​​‌‌​​​​​‌​‌‌​‌​​‌​​​‌‌‌​‌​​‌​​‌​‌‌‌‌​​​​‌​​‌‌‌‌​‌​​​‌​​​‌​‌​​‌​​‌‌​‌​‌‌​‌​‌‌​‌​​‌​​​‌​​​‌‌​‌​‌‌​‌‌‌‌​​‌​‌​​‌‌​‌​‌‌‌‌​‌​​‌​‌‌​‌​​‌‌​‌​​‌​‌​​‌‌‌‌​‌​‌​‌‌‌​‌​‌‌​‌​​‌‌​‌​​​​‌​​‌‌‌‌​‌​‌​‌​​​‌‌​​‌‌‌​​‌‌​​​​​‌​‌‌​​‌​‌​‌​‌​​​‌​​‌‌‌​​‌‌​‌​‌‌​‌​​‌‌​‌​‌​​​‌‌‌​‌​​‌​‌​​‌‌​‌​​‌​‌​​‌‌​‌​‌​‌​‌​​​‌​​‌​​‌​​‌‌​‌​​​‌​​‌‌​‌​‌​​​‌​​​‌​​‌‌​‌​‌‌‌​‌‌‌​‌​​‌‌​‌​‌​​​‌​​​‌​​​​​‌​​‌‌​‌​​​‌​​‌‌‌​​‌‌​‌​‌​​‌‌​‌​‌‌​‌‌‌​‌‌‌​‌​‌‌​‌​​‌​​​‌‌‌​‌​‌‌​​‌​​‌‌​​​‌​‌​​‌‌‌​​‌​​​‌​​​‌​‌​‌​‌​​‌‌​‌​​​‌​‌‌​​‌​‌‌‌‌​‌​​‌​‌​​‌​​‌‌​‌‌​​​‌​​‌‌‌​​‌‌‌​‌‌‌⁣⁣⁣⁣

Чем предстоит заниматься

• Разрабатывать и поддерживать ETL/ELT-процессы полного цикла;
• Строить и оптимизировать хранилище данных и витрины;
• Следить за стабильностью и производительностью data-пайплайнов;
• Участвовать в проектировании data-моделей и архитектуры;
• Внедрять проверки качества данных и мониторинг;
• Документировать решения и улучшать процессы разработки.

Мы ждём

• Опыт работы на позиции Data Engineer от 2 лет;
• Хорошее знание SQL, включая оптимизацию сложных и ресурсоёмких запросов, работа с оконными функциями;
• Опыт работы с ClickHouse, понимание особенностей колоночных БД;
• Опыт работы с Airflow: построение и сопровождение DAG-ов, анализ и устранение ошибок;
• Знание Python для data-задач: обработка данных, разработка коннекторов и утилит, написание тестов;
• Опыт разработки ETL/ELT-процессов и работы с большими объёмами данных;
• Опыт обеспечения качества данных: логирование, мониторинг, проверки, алерты, соблюдение SLA;
• Опыт работы с Git, участие в code review, понимание CI/CD и Merge/Pull Requests;
• Опыт работы с Docker. ## Будет плюсом
• Опыт работы с Sql Server, Firebird;
• Опыт работы со стриминговой обработкой данных;
• Знание подходов к моделированию данных Kimball / Data Vault;
• Опыт работы с GitLab CI;
• Использование LLM в своей работе.

Условия

• Только гибридный график или офис ( удаленного формата нет).
• Уровень ЗП обсуждается с успешным кандидатом.
• Классные ежемесячные бонусы от нас: билеты в кино, посещение боулинга\бильярда, терм, колеса обозрения и детских парков!

• Интеграция источников данных по голосовым и текстовым коммуникациям клиентов со специалистами обслуживания и поддержки;
• Реализация пакетных и потоковых сервисов обработки данных для оценки качества коммуникаций;
• Создание витрин данных для моделей машинного обучения;
• Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры.

• Опыт анализа данных - изучение семантики и связи таблиц и объектов данных, характеризующих общие бизнес-процессы, но находящихся в разных хранилищах, выявления причин расхождения семантически эквивалентных данных в разных хранилищах;
• Высокий уровень знаний языка программирования Python;
• Опыт реализации промышленных отказоустойчивых сервисов пакетной загрузки и трансформации данных (ETL) под управлением оркестратора задач Apache Airflow;
• Понимание принципов микросервисной архитектуры;
• Понимание принципов распределенных вычислений и обработки данных;
• Понимание принципов потоковой обработки данных;
• Хорошее знание платформы Apache Spark – опыт использования библиотеки pyspark;
• Знание и опыт использования платформы потоковой обработки данных Apache Kafka;
• Отличное знание SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций;
• Хорошее знание и опыт использования реляционных баз данных Oracle или PostgreSQL;
• Понимание особенностей обработки и хранения аналитических данных (OLAP), понимание отличий колоночных баз данных от строковых, знание колоночных форматов хранения данных – parquet, orc;
• Хорошее знания и опыт использования хранилищ больших данных – Hadoop/HDFS, S3 - оба, форматы таблиц Hive часть хадупа, Iceberg.

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования;
• Возможен удаленнй формат работы или гибрид;
• Сложные и интересные задачи, современный стек технологий;
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни;
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий;
• Предложения от Банка только для сотрудников: собственный спортзал, а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины.