Data Engineer (офисный формат в СПБ) (Python)

Чем предстоит заниматься

• Разрабатывать и поддерживать ETL/ELT-процессы полного цикла;
• Строить и оптимизировать хранилище данных и витрины;
• Следить за стабильностью и производительностью data-пайплайнов;
• Участвовать в проектировании data-моделей и архитектуры;
• Внедрять проверки качества данных и мониторинг;
• Документировать решения и улучшать процессы разработки.

Мы ждём

• Опыт работы на позиции Data Engineer от 2 лет;
• Хорошее знание SQL, включая оптимизацию сложных и ресурсоёмких запросов, работа с оконными функциями;
• Опыт работы с ClickHouse, понимание особенностей колоночных БД;
• Опыт работы с Airflow: построение и сопровождение DAG-ов, анализ и устранение ошибок;
• Знание Python для data-задач: обработка данных, разработка коннекторов и утилит, написание тестов;
• Опыт разработки ETL/ELT-процессов и работы с большими объёмами данных;
• Опыт обеспечения качества данных: логирование, мониторинг, проверки, алерты, соблюдение SLA;
• Опыт работы с Git, участие в code review, понимание CI/CD и Merge/Pull Requests;
• Опыт работы с Docker. ## Будет плюсом
• Опыт работы с Sql Server, Firebird;
• Опыт работы со стриминговой обработкой данных;
• Знание подходов к моделированию данных Kimball / Data Vault;
• Опыт работы с GitLab CI;
• Использование LLM в своей работе.

Условия

• Только гибридный график или офис ( удаленного формата нет).
• Уровень ЗП обсуждается с успешным кандидатом.
• Классные ежемесячные бонусы от нас: билеты в кино, посещение боулинга\бильярда, терм, колеса обозрения и детских парков!

• Интеграция источников данных по голосовым и текстовым коммуникациям клиентов со специалистами обслуживания и поддержки;
• Реализация пакетных и потоковых сервисов обработки данных для оценки качества коммуникаций;
• Создание витрин данных для моделей машинного обучения;
• Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры.

• Опыт анализа данных - изучение семантики и связи таблиц и объектов данных, характеризующих общие бизнес-процессы, но находящихся в разных хранилищах, выявления причин расхождения семантически эквивалентных данных в разных хранилищах;
• Высокий уровень знаний языка программирования Python;
• Опыт реализации промышленных отказоустойчивых сервисов пакетной загрузки и трансформации данных (ETL) под управлением оркестратора задач Apache Airflow;
• Понимание принципов микросервисной архитектуры;
• Понимание принципов распределенных вычислений и обработки данных;
• Понимание принципов потоковой обработки данных;
• Хорошее знание платформы Apache Spark – опыт использования библиотеки pyspark;
• Знание и опыт использования платформы потоковой обработки данных Apache Kafka;
• Отличное знание SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций;
• Хорошее знание и опыт использования реляционных баз данных Oracle или PostgreSQL;
• Понимание особенностей обработки и хранения аналитических данных (OLAP), понимание отличий колоночных баз данных от строковых, знание колоночных форматов хранения данных – parquet, orc;
• Хорошее знания и опыт использования хранилищ больших данных – Hadoop/HDFS, S3 - оба, форматы таблиц Hive часть хадупа, Iceberg.

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования;
• Возможен удаленнй формат работы или гибрид;
• Сложные и интересные задачи, современный стек технологий;
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни;
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий;
• Предложения от Банка только для сотрудников: собственный спортзал, а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины.

GigaDataGateway - единая точка доступа ко всем данным, знаниям и AI-возможностям - от поиска и инференса моделей до автономных агентов. Мы проектируем систему так, чтобы она одновременно обслуживала десятки внутренних команд и поддерживала процессы оптимизации моделей на основе накопленного опыта работы с внешними и внутренними источниками инференса.

• разработка и развитие сервисов GigaDataGateway на Python

• проектирование и реализация REST/gRPC API для внутренних клиентов

• интеграция с различными источниками данных (базы, стриминговые системы, аналитические движки, llm-агенты, поисковые движки)

• разработка модулей авторизации, аутентификации, контроля доступа и логирования

• работа над производительностью, отказоустойчивостью и масштабируемостью.

• участие в код-ревью, формирование best practices команды

• опыт коммерческой разработки на Python от 7 лет

• глбокие знания FastAPI / aiohttp / gRPC

• опыт проектирования архитектуры сервисов и API-шлюзов

• отличное понимание многопоточности, асинхронности, очередей и распределённых систем

• опыт работы с высоконагруженными системами и оптимизации производительности

• хорошее знание SQL и навыки работы с аналитическими СУБД (ClickHouse, PostgreSQL)

• опыт построения масштабируемых решений на Kafka / RabbitMQ

• знание и применение DDD, Clean Architecture, SOLID

• опыт менторства и технического лидерства в команде

• навыки CI/CD, Kubernetes, мониторинг (Prometheus/Grafana, ELK/ClickHouse + Metabase).

Будет плюсом:

• опыт построения универсальных API-шлюзов или data API

• опыт работы с ML/AI сервисами (встраивание моделей в API)

• опыт интеграции с внешними системами через REST API/gRPC/GraphQL

• участие в проектировании корпоративных дата-платформ.

• участие в новом стратегическом проекте компании

• возможность влиять на архитектуру и стек технологий

• современный процесс разработки (CI/CD, GitLab, Docker/K8s)

• гибридный формат работы

• ежегодный пересмотр зарплаты, годовая премия

• корпоративный спортзал и зоны отдыха

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• вознаграждение за рекомендацию друзей в команду Сбера