Data Engineer (Python)

Senior Data Engineer (AI-Native project, JR803) в ELEKS

🤩 Удалённо, Польша

🔔 Опубликовано менее 48 часов назад

📸 Разработка программного обеспечения и технологический консалтинг для бизнеса

🤩 Основатель — Олексій Скрипник
🤩 Более 2000 специалистов в офисах в 11 странах, включая США, Канаду, Германию, Польшу и Украину
🤩 Инженерные центры во Львове, Киеве, Ивано-Франковске и Тернополе, штаб-квартира в Таллине

Задачи:
• Проект для одного из крупнейших страховых брокеров мира;
• Разрабатывать надёжные системы с фокусом на производительность и доступность;
• Предлагать рефакторинг и оптимизацию кода;
• Удалённая работа из Польши или Хорватии; в источнике также указана Украина.

🕸 Требования:
• От 4 лет опыта Data Engineer;
• MS SQL, Databricks, T-SQL и Spark, включая оптимизацию производительности;
• Azure Cloud, Python, Delta Sharing и Unity Catalog;
• Английский Upper-Intermediate.

Откликнуться: тут

🚀 Offer Inside

#engineer #project #senior #data #ai⁣⁣⁣​‌​​‌‌‌​​‌‌‌‌​‌​​‌‌​​​‌‌​​‌‌​​‌​​‌​‌‌​‌​​‌‌​‌‌​‌​‌​​​‌​‌​‌‌‌‌​‌​​‌​​‌‌‌‌​‌​‌​‌​​​‌‌​‌​‌‌​‌‌‌‌​​​​‌​​‌‌‌​​‌‌‌‌​‌​​‌​​​​​‌​​‌‌​​​‌​‌​​‌‌‌‌​‌​‌​‌​​​‌​​​‌​‌​​‌‌​​​‌​‌​‌‌​‌​​‌​‌​‌​​​‌​‌​‌​‌​​‌‌​​​​​‌​‌‌​‌​​‌​​​‌‌‌​‌​​‌​​‌​‌‌‌‌​​​​‌​​‌‌‌‌​‌​​​‌​​​‌​‌​​‌​​‌‌​‌​‌‌​‌​‌‌​‌​​‌​​​‌​​​‌‌​‌​‌‌​‌‌‌‌​​‌​‌​​‌‌​‌​‌‌‌‌​‌​​‌​‌‌​‌​​‌‌​‌​​‌​‌​​‌‌‌‌​‌​‌​‌‌‌​‌​‌‌​‌​​‌‌​‌​​​​‌​​‌‌‌‌​‌​‌​‌​​​‌‌​​‌‌‌​​‌‌​​​​​‌​‌‌​​‌​‌​‌​‌​​​‌​​‌‌‌​​‌‌​‌​‌‌​‌​​‌‌​‌​‌​​​‌‌‌​‌​​‌​‌​​‌‌​‌​​‌​‌​​‌‌​‌​‌​‌​‌​​​‌​​‌​​‌​​‌‌​‌​​​‌​​‌‌​‌​‌​​​‌​​​‌​​‌‌​‌​‌‌‌​‌‌‌​‌​​‌‌​‌​‌​​​‌​​​‌​​​​​‌​​‌‌​‌​​​‌​​‌‌‌​​‌‌​‌​‌​​‌‌​‌​‌‌​‌‌‌​‌‌‌​‌​‌‌​‌​​‌​​​‌‌‌​‌​‌‌​​‌​​‌‌​​​‌​‌​​‌‌‌​​‌​​​‌​​​‌​‌​‌​‌​​‌‌​‌​​​‌​‌‌​​‌​‌‌‌‌​‌​​‌​‌​​‌​​‌‌​‌‌​​​‌​​‌‌‌​​‌‌‌​‌‌‌⁣⁣⁣⁣

• Интеграция источников данных по голосовым и текстовым коммуникациям клиентов со специалистами обслуживания и поддержки;
• Реализация пакетных и потоковых сервисов обработки данных для оценки качества коммуникаций;
• Создание витрин данных для моделей машинного обучения;
• Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры.

• Опыт анализа данных - изучение семантики и связи таблиц и объектов данных, характеризующих общие бизнес-процессы, но находящихся в разных хранилищах, выявления причин расхождения семантически эквивалентных данных в разных хранилищах;
• Высокий уровень знаний языка программирования Python;
• Опыт реализации промышленных отказоустойчивых сервисов пакетной загрузки и трансформации данных (ETL) под управлением оркестратора задач Apache Airflow;
• Понимание принципов микросервисной архитектуры;
• Понимание принципов распределенных вычислений и обработки данных;
• Понимание принципов потоковой обработки данных;
• Хорошее знание платформы Apache Spark – опыт использования библиотеки pyspark;
• Знание и опыт использования платформы потоковой обработки данных Apache Kafka;
• Отличное знание SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций;
• Хорошее знание и опыт использования реляционных баз данных Oracle или PostgreSQL;
• Понимание особенностей обработки и хранения аналитических данных (OLAP), понимание отличий колоночных баз данных от строковых, знание колоночных форматов хранения данных – parquet, orc;
• Хорошее знания и опыт использования хранилищ больших данных – Hadoop/HDFS, S3 - оба, форматы таблиц Hive часть хадупа, Iceberg.

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования;
• Возможен удаленнй формат работы или гибрид;
• Сложные и интересные задачи, современный стек технологий;
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни;
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий;
• Предложения от Банка только для сотрудников: собственный спортзал, а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины.

GigaDataGateway - единая точка доступа ко всем данным, знаниям и AI-возможностям - от поиска и инференса моделей до автономных агентов. Мы проектируем систему так, чтобы она одновременно обслуживала десятки внутренних команд и поддерживала процессы оптимизации моделей на основе накопленного опыта работы с внешними и внутренними источниками инференса.

• разработка и развитие сервисов GigaDataGateway на Python

• проектирование и реализация REST/gRPC API для внутренних клиентов

• интеграция с различными источниками данных (базы, стриминговые системы, аналитические движки, llm-агенты, поисковые движки)

• разработка модулей авторизации, аутентификации, контроля доступа и логирования

• работа над производительностью, отказоустойчивостью и масштабируемостью.

• участие в код-ревью, формирование best practices команды

• опыт коммерческой разработки на Python от 7 лет

• глбокие знания FastAPI / aiohttp / gRPC

• опыт проектирования архитектуры сервисов и API-шлюзов

• отличное понимание многопоточности, асинхронности, очередей и распределённых систем

• опыт работы с высоконагруженными системами и оптимизации производительности

• хорошее знание SQL и навыки работы с аналитическими СУБД (ClickHouse, PostgreSQL)

• опыт построения масштабируемых решений на Kafka / RabbitMQ

• знание и применение DDD, Clean Architecture, SOLID

• опыт менторства и технического лидерства в команде

• навыки CI/CD, Kubernetes, мониторинг (Prometheus/Grafana, ELK/ClickHouse + Metabase).

Будет плюсом:

• опыт построения универсальных API-шлюзов или data API

• опыт работы с ML/AI сервисами (встраивание моделей в API)

• опыт интеграции с внешними системами через REST API/gRPC/GraphQL

• участие в проектировании корпоративных дата-платформ.

• участие в новом стратегическом проекте компании

• возможность влиять на архитектуру и стек технологий

• современный процесс разработки (CI/CD, GitLab, Docker/K8s)

• гибридный формат работы

• ежегодный пересмотр зарплаты, годовая премия

• корпоративный спортзал и зоны отдыха

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• вознаграждение за рекомендацию друзей в команду Сбера