Н

Senior Data Engineer (Python, C#)

Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.

Неизвестный работодатель

Зарплата не указанаРоссияУдалёнка

ID 3803 - Senior Data Engineer

🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм

🏢 Проект: Альфа банк

💡 Требования:
Профессиональные навыки и опыт:
Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.
Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop).
Практические навыки конфигурации и оптимизации Spark-приложений и управления ресурсами Spark.
Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
Навыки работы с контейнеризацией и оркестрацией в среде Kubernetes (K8s).
Опыт проведения нагрузочного тестирования систем обработки данных.

⚙️Стек технологий:
СУБД: PostgreSQL, MS-SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive).
Data Stack: Hadoop, S3, Impala, Hive, Spark, Iceberg, Kafka, Elasticsearch.
Языки программирования: Python (Pandas, NumPy, Matplotlib), C#, SQL.
Инструментарий: Git, Jira, Kubernetes.

Общие компетенции:
Экспертное владение SQL и навыками оптимизации сложных запросов.
Знание основ математической статистики, анализа данных и основ машинного обучения.
Умение работать в условиях распределенных систем и обеспечивать консистентность данных при автоматическом определении типов схем.

📋Задачи:
Развитие интеграционной среды: Разработка потоков подключения метаданных информационных систем к Единому интеграционному слою и витрине DMDC.
Автоматизация и шаблонизация: Создание шаблонов в платформе управления метаданными для обеспечения подключения ключевых типов СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool).
Разработка инструментов автоматизации: Проектирование Python-скриптов для автоматической генерации DDL/DML запросов и Airflow DAG для процессов загрузки и обслуживания данных.
Поддержка и оптимизация: Исправление ошибок существующих потоков, а также разработка Airflow DAG для обслуживания таблиц Iceberg с применением кастомных операторов (оптимизация чтения при наличии значительного количества delete-файлов).
Модернизация витрины: Доработка функциональности витрины DMDC для обеспечения полной поддержки возможностей каталога данных.
Документирование: Подготовка и ведение проектной документации по результатам разработки.

📨 Отклик — через форму: •••••••• или напрямую рекрутеру ••••••••

❗️Откликайтесь только при релевантном опыте.

❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями

❗️Повторный отклик: ID вакансии + сверка.

#Data #Engineer #Удаленно #вакансия

Похожие вакансии Data Engineer

hh.ru
alif uzbekistan

Middle Data Engineer

alif uzbekistanАвтоподнятие
Зарплата не указанаУзбекистанТашкентОфис

О команде:

Команда Data Engineering занимается развитием и поддержкой корпоративного хранилища данных (DWH) для основных продуктов компании: платежной системы, маркетплейса и сервиса рассрочки. Наша задача — обеспечить компанию надёжными и актуальными данными для внутренней аналитики и реализации требований регулятора (RegTech). Сейчас команда развивает архитектуру хранилища данных, переходит на ELT-подход и стандартизирует технологический стек на базе ClickHouse, dbt, Apache Airflow и Kafka Connect. Мы также совершенствуем инженерные практики, уделяя особое внимание надёжности, качеству данных и автоматизации процессов.

Чем вы будете заниматься:

  • Поддерживать и развивать дата-пайплайны: сопровождать существующие batch- и near-real-time потоки из микросервисов (PostgreSQL, MySQL, API), рефакторить legacy-процессы и переносить вычисления из Python/Pandas в SQL.
  • Оптимизировать стек данных: настраивать ClickHouse, Kafka Connect и CDC (Debezium, DLQ, Schema Registry), оптимизировать Airflow DAG-и и управление параллелизмом.
  • Развивать DWH и внедрять dbt: переносить бизнес-логику и витрины в dbt, использовать Jinja и макросы, развивать архитектуру Bronze / Silver / Gold.
  • Обеспечивать качество данных: автоматизировать DQ-проверки, сверять данные с источниками, настраивать мониторинг и алертинг, выстраивать Data Lineage.
  • Автоматизировать инфраструктуру и CI/CD: управлять конфигурациями пайплайнов, DDL-миграциями и доступами через код; развивать процессы на базе GitLab CI, werf, Docker и Kubernetes.
  • Использовать AI-инструменты: ускорять работу с legacy-кодом, генерацию тестов, оптимизацию SQL-запросов и подготовку документации с помощью Cursor, Copilot, ChatGPT и Claude.

Чего мы ожидаем от вас:

  • SQL: уверенное владение SQL, умение писать сложные аналитические запросы, понимание принципов оптимизации;
  • Python: хороший уровень (requests, работа с API, базовый Pandas), умение писать чистый, поддерживаемый код;
  • Airflow: опыт написания DAG-ов, понимание базовых принципов работы шедулера, операторов, хуков;
  • Архитектура DWH: понимание концепций построения хранилища и моделей данных; идеологии ELT vs ETL, OLAP vs OLTP;
  • Инфраструктура: базовое понимание контейнеризации (Docker / Kubernetes), уверенная работа с Git;
  • Уверенное использование AI-инструментов: активное применение в ежедневной работе (ChatGPT, Claude, Cursor, GitHub Copilot или аналоги) для ускорения написания рутинного кода, помощи в рефакторинге, генерации SQL/документации и быстрого онбординга в новую кодовую базу.

Будет большим плюсом:

  • Опыт работы с ClickHouse в продакшене (знание особенностей MergeTree движков, партиционирования);
  • Практический опыт работы с dbt (Data Build Tool);
  • Понимание принципов работы брокеров сообщений (Kafka) и CDC-инструментов (Debezium);
  • Опыт деплоя приложений в Kubernetes (Gitlab / Github CI).

Почему вам будет интересно с нами:

  • Работа в продуктовой финтех-компании;
  • Современная архитектура и сложные инженерные задачи;
  • Профессиональная команда, взаимная поддержка и обмен опытом;
  • Возможность карьерного роста;
  • Культура, открытая к новым идеям и улучшениям процессов;
  • Выстроенная адаптация с сопровождением HR, тимлида и ментора;
  • Уроки английского с носителями языка;
  • Компенсация обучения (постоянный доступ к корпоративным материалам, специализированные курсы, внутренние митапы);
  • Насыщенная корпоративная жизнь;
  • Добровольная медицинская страховка;
  • Офис в центре города в Tashkent - City;
  • График 5/2 с 9:00 до 18:00;
  • Конкурентная заработная плата (обсуждается по итогам собеседования).

О компании:

Alif — одна из крупнейших и самых быстрорастущих финтех-компаний Центральной Азии с проектами в Узбекистане, Таджикистане и Пакистане. Компания была основана в 2014 году Абдулло Курбановым, Фирдавсом Мирзоевым и Зухуршо Рахматуллоевым.

Наши достижения:

  • Alif - одна из самых динамичных и дорогих финтех-компаний региона, оценённая более чем в $100 млн.
  • В Узбекистане компания работает с 2019 года и за это время стала одним из лидеров рынка.
  • Общая аудитория пользователей превысила 9 миллионов человек.
  • Сегодня команда Alif насчитывает более 300 квалифицированных специалистов, которые создают и развивают полноценную финтех-экосистему.
  • Компания является резидентом IT-Park с 2019 года и активно расширяет своё присутствие на рынке.
  • Alif занимает передовые позиции на рынке BNPL-решений и продолжает уверенно развиваться.

Мы в Alif, обеспечиваем равные возможности, и приветствуем заявки от всех квалифицированных лиц, включая людей с ограниченными возможностями, ветеранов и людей из разных слоёв общества.

hh.ru
очаково

Руководитель группы разработки DWH / Team Lead Data Engineering

очаковоАвтоподнятие
Зарплата не указанаРоссияМоскваГибрид

Присоединяйся к команде крупнейшего пищевого производителя с известными брендами! Работа в АО МПБК Очаково это ценность каждого сотрудника и стабильный заработок!

Ключевые задачи:
· Проектирование и развитие архитектуры корпоративного хранилища данных (DWH) на стеке Microsoft: MS SQL Server, SSAS (табличные/многомерные кубы), Power BI.
· Построение ETL/ELT-пайплайнов, обеспечение надежности и качества данных.
· Формирование семантического слоя (витрины данных) для BI-отчетности и аналитики.
· Управление командой из 2–3 человек (инженер данных + BI-разработчик), распределение задач, контроль качества, наставничество.
· Выстраивание процессов разработки: контроль версий (Git), документация, регламенты, Data Governance.
· Взаимодействие с бизнес-заказчиками и аналитическим отделом: перевод бизнес-требований в технические решения.
· Участие в стратегических проектах, включая перспективное внедрение корпоративных AI-агентов (локальные LLM, RAG-архитектуры).
Обязательные требования:
· Опыт работы с данными (DWH/Data Lake) от 5 лет.
· Опыт управления командой от 3 человек.
· Экспертный SQL (оптимизация запросов, работа с терабайтными объемами).
· Глубокое знание стека Microsoft: MS SQL Server, SSAS (разработка моделей), Power BI.
· Понимание методологий построения DWH: Kimball / Inmon / Data Vault 2.0.
· Опыт интеграции данных из различных источников: ERP, CRM, API, CDC.
· Умение переводить требования бизнеса в технические решения и обратно.
· Навыки управления бэклогом разработки и ведения проектов.
Будет преимуществом:
· Опыт работы с Airflow / dbt / Python.
· Понимание Data Governance / DataOps практик.
· Опыт работы с облачными DWH (Snowflake/BigQuery/Redshift).
· Знание основ ML/AI: как работают модели, RAG, агенты, MCP.
· Опыт миграции или модернизации DWH.

Нужна уверенность в завтрашнем дне? Работай с нами!

Спасибо за отклик! Если ваше резюме соответствует вакансии, мы свяжемся с вами в ближайшее время.

Соц.сети

Senior Data Engineer

Зарплата не указанаПольшаКипрБеларусьГерманияНидерландыИспанияПортугалияГрузияЧехияЛюксембургЛатвияЛитваЭстонияВенгрияРумынияФинляндияФранцияАвстрияГрецияДанияИталияСловакияУдалёнка

Senior Data Engineer ••••••••

Местоположение: EU, Грузия, Беларусь
Формат работы: Удаленно
Опубликована: ••••••••

Требования:
• Международный опыт проектов с рабочим английским
• 5+ лет опыта, из них 2–3 года с Azure
• Стек данных Azure
• Python/PySpark, SQL

Контакт: ••••••••

•••••••• опубликована в ••••••••

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.