Data Engineer (Python)

• Подключать источники: реляционные и NoSQL БД, API, файлы, CDC. Настраивать batch/ELT-загрузки и выгрузки во внешние системы.
• Разрабатывать в Lakehouse справочники, факты, витрины и сервисные датасеты, учитывая объёмы, историчность и сценарии потребления.
• Делать near-real-time пайплайны на Kafka и Flink: доставка, фильтрация, обогащение и маршрутизация событий.
• Готовить и публиковать признаки в Feature Store для ML/AI и скоринга.
• Оптимизировать SQL-запросы, модели и структуру таблиц: партиционирование, compaction, schema evolution.
• Писать проверки качества данных (dbt, SQL, Python), настраивать мониторинг, разбирать инциденты и расхождения.
• Описывать data products в каталоге: metadata, lineage, owner, SLA.

Обязательно:

• От 2 лет опыта в Data Engineering (DWH / Data Lake / Lakehouse).
• Сильный SQL: оконные функции, все типы JOIN, чтение EXPLAIN / ANALYZE, понимание физических join-стратегий, predicate pushdown, partition pruning.
• Понимание моделирования DWH: звезда/снежинка, SCD, слои хранения.
• Опыт с Airflow или другим оркестратором, а также с dbt (models, tests, sources, macros, contracts).
• Базовое понимание Iceberg, Trino, Parquet/Avro.
• Опыт интеграции данных из БД, API, файлов, Kafka, CDC.
• Linux, Python/Bash, Git, базовое понимание CI/CD.
• Высшее техническое образование.

Будет плюсом:

• Kafka (партиции, offset, consumer groups, delivery guarantees), Schema Registry.
• Flink (event time, watermarks, state, checkpoints) и Java на уровне доработки Flink-приложений.
• Docker и Kubernetes (kubectl, deployment, configmap/secret).
• Опыт подготовки признаков для ML, работы с каталогом данных и lineage.
• Опыт в телекоме.
• Русский, казахский и английский на рабочем уровне.

Условия:

• Временная позиция: на период декретного отпуска сотрудника.
• Достойная зарплата.
• Ежегодный отпуск 24 дня и ещё 4 дополнительных дня после того, как использованы основные 24.
• После испытательного срока компания частично компенсирует расходы:
  • медицина: приёмы врачей, анализы, медикаменты, УЗИ, МРТ;
  • образование: курсы, книги, школа и детский сад для детей;
  • спорт: тренажёрный зал, секции, бассейн, йога, танцы;
  • путешествия: путёвки по Казахстану и за рубеж, авиа- и ж/д билеты, гостиницы.
• Корпоративная мобильная связь.
• Можно расти как вверх по должности, так и в соседние направления.
• Возможны командировки.

Крупнейший российский видеосервис: ежедневно им пользуются десятки миллионов людей. Перед нами стоит амбициозная задача — развивать видеосервис № 1 в России и внедрять новые технологии.

Задачи

• Руководство и развитие команды дата-инженеров от трёх человек
• Постановка и приоритизация задач, декомпозиция и контроль сроков
• Формирование планов команды и ответственность за выполнение долгосрочных целей
• Работа с заказчиками со стороны бизнеса и продукта: сбор требований, согласование приоритетов, сроков и ожидаемого результата
• Развитие данных и аналитических решений для кабинета автора VK Видео и кабинета артиста VK Музыки, аналитики монетизации и пайплайнов A/B
• Принятие архитектурных решений по DWH и пайплайнам обработки данных
• Ревью архитектуры и кода, контроль качества технических решений
• Участие в сложных технических задачах: Spark, ClickHouse/SQL, Python, поиск и устранение проблем с производительностью пайплайнов

Требования

• Опыт руководства командой Data Engineer от года, от двух человек в прямом подчинении
• Опыт управления delivery: приоритизация, декомпозиция, сроки, roadmap
• Опыт 1:1, развития сотрудников, performance review, найма и онбординга
• Сильный технический бэкграунд в Data Engineering / DWH
• Опыт с Airflow, ClickHouse, Hadoop/YT
• Уверенный SQL, опыт оптимизации запросов и производительности
• Python на уровне разработки, чтения и code review
• Умение работать с большим потоком входящих задач и несколькими заказчиками
• Будет плюсом опыт использования AI-инструментов в разработке и инженерных процессах

Приглашаем присоединиться к проекту направленного на реализацию комплексного решения по индивидуализации ценообразования банковских продуктов физ.лиц. Наша цель – создание автономной расчетной системы для анализа сценариев, поиска оптимального сценария и его реализацию через индивидуальное предложение клиенту с использованием автономных AI агентов. Мы хотим построить передовую в РФ экосистему с принципиально новым клиентским опытом.

Ключевые направления: индивидуализация ценового предложения продуктов кредитов физ.лиц, дебетовых и кредитных карт, вкладов, текущих счетов, инвестиционных продуктов, линейки подписок и пакетов, создание ИТ решения управления лимитами и полномочиями продающих подразделений банка; создание инструментов для расчета экономической эффективности финансовых пилотов.

Обязанности

• проектирование и реализация высоконагруженных распределённых решений на основе Apache Spark
• разработка batch и streaming ETL-процессов
• поддержка архитектуры корпоративных хранилищ данных (DWH, Data Lake, LakeHouse)
• создание и оптимизация запросов на SQL и Spark SQL
• участие в архитектурных сессиях и проектирование дизайна системы
• проведение code review, обеспечение соблюдения стандартов кодирования.

Требования

• опыт разработки на Python от 3-х лет, с использованием pySpark
• опыт работы с python data фреймворками (Pandas/Numpy)
• понимание принципов SDLC и практический опыт создания python приложений с использованием распределенных вычислений, понимание принципов ООП, SOLID, паттернов проектирования
• отличные знания SQL (Advanced) и опыт работы в аналитике данных (DWH, Data Lake, Lake House)
• опыт в построении ETL
• опыт работы с AI инструментами для повышения эффективности
• понимание принципов CI/CD, подходов обеспечения качества.

Будет плюсом:

• инструментальное владение AI для анализа, генерации и автоматизации
• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
• опыт работы с Kafka, интеграционных взаимодействий (HTTP, REST, GraphQL)
• опыт работы с Docker, Kubernetes
• понимание основ Machine Learning (ML)
• желание развивать навыки в технологиях genAI (Agentic, RAG etc.).

Условия

• только гибридный формат работы, г. Москва, г. Санкт-Петербург, г.Самара
• годовой бонус и ежегодный пересмотр зарплаты
• расширенный ДМС с первого дня и льготное страхование для семьи
• корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду.