Н

Data Engineer (ETL-миграция) Senior

🚀 Data Engineer (ETL-миграция) Senior

Неизвестный работодатель

Зарплата не указанаРоссияУдалёнка

🚀 Data Engineer (ETL-миграция) Senior

Ищем Data Engineers для участия в масштабном проекте миграции ETL-системы телеком-оператора с Oracle/Informatica на Apache-стек.

🏢 Сфера: Телекоммуникации

👤 Грейд: Senior

📍 Локация и гражданство: РФ

🏠 Формат: удалённо

📄 Оформление: только по ИП

🕘 Занятость: Full-time

⏰ График: МСК ±2 часа

🛠 Ключевой стек:SQL, Oracle (PL/SQL), PostgreSQL, Greenplum / ClickHouse, Apache Spark (PySpark), Apache NiFi, Apache Airflow, Hadoop (HDFS), Hive, Kafka, S3, Grafana, Prometheus / VictoriaMetrics.

📌 Задачи:

-Миграция ETL-системы с Oracle/Informatica на Apache-стек.

-Перенос бизнес-логики из Informatica в высокопроизводительный SQL.

-Разработка и оптимизация SQL-запросов для витрин данных и ETL-процессов.

-Разработка DAG-ов в Airflow и настройка пайплайнов в NiFi.

-Разработка Spark-джобов (PySpark) для обработки больших объёмов данных.

-Интеграция с Kafka для потоковой передачи данных.

-Настройка мониторинга ETL-процессов и отслеживание метрик.

-Анализ инцидентов, связанных с качеством данных и ошибками загрузки.

-Проведение Code Review.

✅ Обязательные требования:

-Опыт миграции ETL-систем, желательно с Oracle/Informatica на Apache-стек.

-Глубокое знание SQL: оконные функции, сложные JOIN, иерархические запросы.

-Опыт оптимизации SQL для Highload: партиционирование, индексы, Explain Plans.

-Уверенное владение Oracle (PL/SQL) и PostgreSQL.

-Опыт работы с Greenplum и/или ClickHouse.

-Опыт проектирования решений на Apache Spark (PySpark), NiFi, Airflow.Знание Hadoop (HDFS) и Hive.

-Опыт мониторинга ETL через Grafana/Prometheus или VictoriaMetrics.

-Опыт работы с биллинговыми системами (телеком-домен будет преимуществом).

⭐ Будет плюсом:

-Kafka Streams / Spark Streaming.Informatica PowerCenter.

-Бинарные форматы хранения данных в Hadoop.

-Понимание различий Hive / Impala, Greenplum / PostgreSQL, ClickHouse / PostgreSQL.

-Patroni для кластеризации PostgreSQL/Greenplum.

-Опыт работы с S3-хранилищами.

📩 Заинтересовала вакансия? Присылайте резюме в Telegram @mblsvsk

Похожие вакансии Data Engineer

Соц.сети
I

Senior Data Engineer (Databricks)

intellias
Зарплата не указанаПольшаУдалёнка

🚀 Senior Data Engineer (Databricks) | Remote | Poland

I'm currently looking for a Senior Data Engineer to join an international team building modern cloud-based data platforms and analytics solutions.

If you have experience with:

✅ Databricks

✅ PySpark & Spark

✅ Azure Cloud

✅ Data Warehousing & ETL/ELT

✅ Large-scale data processing

this could be a great opportunity for you.

✨ What we offer:

• Long-term cooperation

• Challenging data projects

• International environment

• Remote-first setup

• Opportunity to influence architecture and technical decisions

Whether you're actively looking or just curious about the market, I'd be happy to connect and share more details.

📩 Feel free to message me directly or tag someone who might be interested.

#Hiring #DataEngineer #SeniorDataEngineer #Databricks #Azure #PySpark #Spark #DataEngineering #BigData #CloudEngineering #AnalyticsEngineering #DataPlatform #RemoteJobs #TechJobs #PolandJobs #EuropeanJobs #OpenToWork #Intellias

hh.ru
alif uzbekistan

Middle Data Engineer

alif uzbekistanАвтоподнятие
Зарплата не указанаУзбекистанТашкентОфис

О команде:

Команда Data Engineering занимается развитием и поддержкой корпоративного хранилища данных (DWH) для основных продуктов компании: платежной системы, маркетплейса и сервиса рассрочки. Наша задача — обеспечить компанию надёжными и актуальными данными для внутренней аналитики и реализации требований регулятора (RegTech). Сейчас команда развивает архитектуру хранилища данных, переходит на ELT-подход и стандартизирует технологический стек на базе ClickHouse, dbt, Apache Airflow и Kafka Connect. Мы также совершенствуем инженерные практики, уделяя особое внимание надёжности, качеству данных и автоматизации процессов.

Чем вы будете заниматься:

  • Поддерживать и развивать дата-пайплайны: сопровождать существующие batch- и near-real-time потоки из микросервисов (PostgreSQL, MySQL, API), рефакторить legacy-процессы и переносить вычисления из Python/Pandas в SQL.
  • Оптимизировать стек данных: настраивать ClickHouse, Kafka Connect и CDC (Debezium, DLQ, Schema Registry), оптимизировать Airflow DAG-и и управление параллелизмом.
  • Развивать DWH и внедрять dbt: переносить бизнес-логику и витрины в dbt, использовать Jinja и макросы, развивать архитектуру Bronze / Silver / Gold.
  • Обеспечивать качество данных: автоматизировать DQ-проверки, сверять данные с источниками, настраивать мониторинг и алертинг, выстраивать Data Lineage.
  • Автоматизировать инфраструктуру и CI/CD: управлять конфигурациями пайплайнов, DDL-миграциями и доступами через код; развивать процессы на базе GitLab CI, werf, Docker и Kubernetes.
  • Использовать AI-инструменты: ускорять работу с legacy-кодом, генерацию тестов, оптимизацию SQL-запросов и подготовку документации с помощью Cursor, Copilot, ChatGPT и Claude.

Чего мы ожидаем от вас:

  • SQL: уверенное владение SQL, умение писать сложные аналитические запросы, понимание принципов оптимизации;
  • Python: хороший уровень (requests, работа с API, базовый Pandas), умение писать чистый, поддерживаемый код;
  • Airflow: опыт написания DAG-ов, понимание базовых принципов работы шедулера, операторов, хуков;
  • Архитектура DWH: понимание концепций построения хранилища и моделей данных; идеологии ELT vs ETL, OLAP vs OLTP;
  • Инфраструктура: базовое понимание контейнеризации (Docker / Kubernetes), уверенная работа с Git;
  • Уверенное использование AI-инструментов: активное применение в ежедневной работе (ChatGPT, Claude, Cursor, GitHub Copilot или аналоги) для ускорения написания рутинного кода, помощи в рефакторинге, генерации SQL/документации и быстрого онбординга в новую кодовую базу.

Будет большим плюсом:

  • Опыт работы с ClickHouse в продакшене (знание особенностей MergeTree движков, партиционирования);
  • Практический опыт работы с dbt (Data Build Tool);
  • Понимание принципов работы брокеров сообщений (Kafka) и CDC-инструментов (Debezium);
  • Опыт деплоя приложений в Kubernetes (Gitlab / Github CI).

Почему вам будет интересно с нами:

  • Работа в продуктовой финтех-компании;
  • Современная архитектура и сложные инженерные задачи;
  • Профессиональная команда, взаимная поддержка и обмен опытом;
  • Возможность карьерного роста;
  • Культура, открытая к новым идеям и улучшениям процессов;
  • Выстроенная адаптация с сопровождением HR, тимлида и ментора;
  • Уроки английского с носителями языка;
  • Компенсация обучения (постоянный доступ к корпоративным материалам, специализированные курсы, внутренние митапы);
  • Насыщенная корпоративная жизнь;
  • Добровольная медицинская страховка;
  • Офис в центре города в Tashkent - City;
  • График 5/2 с 9:00 до 18:00;
  • Конкурентная заработная плата (обсуждается по итогам собеседования).

О компании:

Alif — одна из крупнейших и самых быстрорастущих финтех-компаний Центральной Азии с проектами в Узбекистане, Таджикистане и Пакистане. Компания была основана в 2014 году Абдулло Курбановым, Фирдавсом Мирзоевым и Зухуршо Рахматуллоевым.

Наши достижения:

  • Alif - одна из самых динамичных и дорогих финтех-компаний региона, оценённая более чем в $100 млн.
  • В Узбекистане компания работает с 2019 года и за это время стала одним из лидеров рынка.
  • Общая аудитория пользователей превысила 9 миллионов человек.
  • Сегодня команда Alif насчитывает более 300 квалифицированных специалистов, которые создают и развивают полноценную финтех-экосистему.
  • Компания является резидентом IT-Park с 2019 года и активно расширяет своё присутствие на рынке.
  • Alif занимает передовые позиции на рынке BNPL-решений и продолжает уверенно развиваться.

Мы в Alif, обеспечиваем равные возможности, и приветствуем заявки от всех квалифицированных лиц, включая людей с ограниченными возможностями, ветеранов и людей из разных слоёв общества.

Соц.сети

Data Engineer

Зарплата не указанаРоссияМоскваОфис

#junior #офис

••••••••
Data Engineer
Полная занятость
Формат работы: офис (Москва)

☑️ Чем предстоит заниматься
-Проводить аналитику новых источников, реплику автоматизированных систем (АС). (Hadoop, spark)
-Разрабатывать витрины данных
-Строить прототипы, передавать прототипы в разработку. (SQL)
-Поддерживать текущий функционал, дорабатывать текущий функционал в рамках новых требований
-Формировать проверки контроля качества данных

☑️ Наши пожелания к кандидатам
-Уверенное знание SQL (HQL). Оконные функции, multiple join, cte, оптимизация
-Опыт работы с hadoop, hdfs, hive, yarn, spark (понимание как физически лежат данные в hadoop, партиционирование таблиц и т.д.)
-Опыт работы с большими данными (от 10млн записей в партиции)
-Опыт работы с банковскими данными (Общее понимание продуктов банка)

Контакты: ••••••••

🔥 •••••••• / •••••••• / ••••••••

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.