Н

Data Engineer (ETL-миграция)

Участие в миграции ИС на Apache стек

Неизвестный работодатель На сервисе с: 05.10.26 12:47

Зарплата не указанаРоссияУдалёнка

🧠😘😀😘😘🥰😀🫢

Data Engineer (ETL-миграция)

Проект
Участие в миграции ИС на Apache стек
Телекоммуникации

- Локация: РФ
- Гражданство: РФ
- Формат: Удаленно

Data Engineer (ETL-миграция)
Уровень: Middle+, Senior

Обязательно:

- Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек);
- Глубокий SQL: оконные функции, сложные джойны, иерархические запросы;
- Оптимизация SQL для highload (партиционирование, индексы, explain plans);
- Oracle (PL/SQL) и PostgreSQL;
- Greenplum и/или Clickhouse;
- Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow;
- Hadoop (HDFS) и Hive;
- Мониторинг ETL: Grafana/Prometheus или Victoria Metrics;
- Опыт работы с биллинговыми системами (желательно телеком-домен).

Желательно:
- Потоковая обработка: Kafka Streams / Spark Streaming;
- Informatica PowerCenter (понимание мигрируемой системы);
- Бинарные форматы хранения в Hadoop;
- Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL;
- Patroni для кластеризации PostgreSQL/Greenplum;
- S3-хранилища;
- КриптоПро или защищенные каналы передачи данных.

Задачи:

- Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum);
- Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код;
- Написание и оптимизация SQL для витрин данных и ETL-процессов;
- Разработка DAG-ов в Airflow;
- Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы);
- Разработка Spark-джобов (PySpark) для больших объемов;
- Интеграция с Kafka для потоковой передачи;
- Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик;
- Разбор инцидентов по качеству данных и ошибкам загрузки;
- Code review.

Ключевые компетенции
миграция ETL-систем,
SQL (оконные функции, оптимизация),
Oracle PL/SQL,
PostgreSQL, Greenplum, Clickhouse,
Apache Spark (PySpark), NiFi, Airflow, Kafka,
Hadoop, Hive,
Grafana/Prometheus,
биллинг, телеком.

Направить CV
••••••••

Похожие вакансии Data Engineer

Сайты компаний
tradingview

Senior Analytics Engineer

tradingviewНа сервисе с: 03.09.26 10:23↑ Вакансия с автоподнятием
Зарплата не указанаКипрГрузияТбилисиГибрид

TradingView is the world’s largest financial analysis platform with more than 100M users across 180+ countries.

We build tools that help traders and investors make informed decisions — from advanced charting and market data to collaboration and publishing features. Our products are used daily by millions of individuals and trusted by companies like Revolut, Binance, and CME Group.

We’re continuing to grow and scale our platform, and we’re looking for people who care about product quality, take ownership of their work, and want to build systems used by a global audience.

About the team

We're building a Master/Reference Data Management platform and looking for a strong Analytics Engineer to own its transformation core and semantic layer. The near-term goals are to cut the time-to-market of delivering new data to our 2M+ users by around 7x and to guarantee high-quality data across all TradingView services.

We're looking for an Analytics Engineer to join the team building this platform. You will own the dbt project and the transformation layer. Your decisions will shape the canonical data model and the Gold layer the rest of the company builds on.

Responsibilities
  • Own the dbt project end to end, including transformations across all layers, reusable macros, and shared modeling rules

  • Consolidate scattered and legacy transformations into unified, standardized pipelines

  • Enable and expand dbt tests, and implement data quality checks across the Silver and Gold layers

  • Design and implement golden-record determination and conflict resolution strategies for master and reference data

  • Build and own the canonical data model, the semantic (Gold) layer, and the data catalog

  • Define and enforce transformation standards and conventions for everyone consuming Gold, so that analysts, ops, and domain teams can self-serve

  • Deliver data from Gold to end consumers, including integration to the frontend through internal systems

What makes you the perfect fit
  • 4 to 6 years of experience as an Analytics Engineer or Data Engineer

  • Expert-level dbt, covering modeling, reusable macros, tests, project structure and conventions, with hands-on experience across different data sources such as RDBMS and S3

  • SQL as a native language, including query optimization from both the query side and the engine side, so indexes, partitions, and data layout

  • Deep hands-on experience with data quality tooling such as dbt tests, great expectations, or soda

  • Experience designing canonical and semantic layers, and dimensional modeling

  • Deep knowledge of database modeling patterns

  • Experience with master and reference data management and golden-record logic

  • Ability to translate logic from Go, Python, or any other language into SQL

Will be a plus

  • Experience owning a key component of a mature data platform

  • Exposure to market data or fintech

What we offer you
  • Flexible working hours and a hybrid work format

  • Well-equipped offices for focused and collaborative work

  • A global, distributed team of 500+ professionals

  • Learning, mentorship, and long-term career growth

  • Relocation support and private health insurance

  • Performance-based bonuses

  • TradingView Premium access

  • Regular team events and company-wide meetups

Join the TradingView team and help us build a product used by millions of traders and investors worldwide. We look forward to hearing from you!

TradingView is an equal opportunity employer. We embrace diversity and are dedicated to fostering a diverse and inclusive workplace. Our success is driven by 600+ professionals from 40+ countries who speak nearly 20 languages. 

Эта вакансия также есть на:Внешний сайт
Сайты компаний
selecty

Дата разработчик

selectyНа сервисе с: 20.06.26 14:56↑ Вакансия с автоподнятием
Зарплата не указанаНе указана странаЛокация не указана
Сейчас мы находимся в поиске Дата разработчика (Scala разработчик) на проект одного из крупнейших банков РФ. Предпочтительней гибридный формат.
  • Разработка дата-продуктов ЕСЕ (Единый семантический слой) на Scala, а в перспективе и на Java.
  • Создание артефактов для подготовки дистрибутива к релизу.
  • Создание и расширение реплик трайба, а также витрин трайба в перспективе.
  • Освоение методик для создания и расширения реплик, участие в согласовании порядка установки и запуска дата-продукта.
  • Опыт в Hadoop Apache Spark ETL Pipeline не менее 2 лет.
  • Программирование на Scala и с использованием фреймворка Spark.
  • Приветствуется знание PySpark и опыт с оркестрацией ETL.
  • SQL (ANSI).
  • Опыт использования инструментов DevOps.
  • Программирование на Java (минимум начальный уровень).
  • Комфортные условия и полезные бонусы от Selecty:
  • Удаленный формат работы;
  • Оформление по ТК РФ на аккредитованную ИТ компанию
  • HR координатор у каждого сотрудника;
  • ДМС со стоматологией, начиная с первого месяца работы;
  • Скидки на изучение иностранных языков от Skyeng;
  • Реферальная программа: бонус за рекомендации.
Selecty - аккредитованная IT-компания, оказывающая услуги в сфере IT-аутсорсинга.

Работаем на рынке более 10 лет, с 2013 года успешно решая задачи любой сложности в рамках цифровой трансформации для крупного бизнеса. Среди заказчиков Selecty более 300 компаний из списка РБК Топ-500. Расскажите нам о себе и мы обязательно свяжемся с вами!
Соц.сети
A

Middle / Senior Data Engineer

aristek_systemsНа сервисе с: 10.10.26 20:06
Зарплата не указанаНе указана странаЛокация не указанаУдалёнка

Middle / Senior Data Engineer Aristek Systems

Местоположение: Весь мир
Формат работы: Удаленно
Опубликована: ••••••••

Требования:
• 4+ года коммерческого опыта в Data Engineering
• Уверенное знание AWS: S3, Glue, Athena, Lake Formation/IAM, Lambda, Step Functions
• Опыт построения data lake/lakehouse с нуля (Parquet, Iceberg/Delta/Hudi)
• Python (PySpark) и продвинутый SQL

Контакт: ••••••••

•••••••• опубликована в ••••••••

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.