Алабуга. Менеджмент

Data Engineer (ClickHouse, Airflow, Python)

разработка, сопровождение и оптимизация ETL/ELT-пайплайнов на базе Apache Airflow;

Алабуга. Менеджмент

от 158k ₽РоссияВоронежОфис
Обязанности:
  • разработка, сопровождение и оптимизация ETL/ELT-пайплайнов на базе Apache Airflow;
  • проектирование и развитие схем данных в ClickHouse (основное хранилище);
  • поддержка PostgreSQL на базовом уровне;
  • интеграция данных из различных источников: S3, RabbitMQ, внешние API, внутренние сервисы;
  • написание и оптимизация SQL-запросов;
  • контроль качества данных: профилирование, мониторинг полноты и консистентности, отладка пайплайнов;
  • настройка и сопровождение мониторинга процессов и инфраструктуры: Grafana, Loki, Alertmanager, OpenSearch;
  • работа с контейнеризированной инфраструктурой: Docker, Portainer;
  • ведение задач и документирование решений в Jira/Wiki;
  • взаимодействие с командой разработки и аналитиками для уточнения требований к данным.
Требования:
  • уверенное владение Python (pandas, обработка и трансформация данных);
  • опыт построения и сопровождения ETL/ELT-пайплайнов в Apache Airflow или аналогах;
  • опыт проектирования и сопровождения хранилища данных в ClickHouse: движки таблиц, партиционирование, оптимизация запросов;
  • базовые навыки работы с PostgreSQL: проектирование схем, DDL/DML, индексы;
  • опыт работы с объектным хранилищем (S3 и аналоги);
  • опыт работы с брокерами сообщений: предпочтителен RabbitMQ, опыт с Apache Kafka и NATS также рассматривается;
  • базовое понимание систем мониторинга и сбора журналов: Grafana, Loki, Alertmanager, OpenSearch или аналоги;
  • понимание контейнеризации: Docker, Portainer;
  • уверенная работа с системой контроля версий Git;
  • опыт приёма и обработки IoT-телеметрии от датчиков и оборудования (работа с потоками временных рядов);
  • опыт разработки приложений потоковой обработки данных на Apache Flink или аналогах (Kafka Streams, Spark Streaming);
  • от 2 лет в роли Data Engineer или аналогичной позиции.
Условия:
  • конкурентный уровень з/п (обсуждается индивидуально);
  • работа в крупной и стабильной компании – в структуре самой большой ОЭЗ в Европе;
  • транспорт до работы из г. Елабуга, г. Набережные Челны, г. Нижнекамск;
  • полис добровольного медицинского страхования;
  • предоставление платного жилья для иногородних;
  • гарантия профессионального роста;
  • амбициозная, проектно-ориентированная команда;
  • командные и спортивные игры, реализация нестандартных задач;
  • карьерный рост при наличии и обретении в процессе работы необходимых компетенций.

Похожие вакансии Data Engineer

hh.ru
иц ай-теко

Data Analyst/Engineer

иц ай-текоАвтоподнятие
до 220k ₽РоссияМоскваОфис

КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием открыта вакансия Data Analyst/Engineer .

От кандидата ожидаем:

  • Мы ждем от кандидата (Обязательно). Законченное ВО.
  • Опыт работы с данными от 2 лет (дата-инженер+ аналитик данных / DWH).
  • Продвинутый SQL: Умение писать сложные запросы, искать аномалии, дубликаты, считать метрики качества.
  • Python на уровне написания скриптов: Опыт работы с Pandas / PySpark для обработки и анализа данных.
  • Опыт работы с Hadoop / Hive / Greenplum
  • Понимание жизненного цикла данных: Знание, как данные текут из источника в хранилище и витрины (ETL/ELT-процессы).
  • Опыт работы с системами контроля версий (Git) и задачами (Jira).
  • Аналитическое мышление: Умение не просто констатировать проблему, а находить ее первопричину (почему данные испортились: ошибка загрузки, сбой в источнике, человеческий фактор)
  • Навыки коммуникации: Готовность и умение общаться с разными командами — от разработчиков до бизнес-заказчиков.

МЫ ПРЕДЛАГАЕМ:

  • Офисный формат работы;
  • Работу в стабильной компании, "белую" заработную плату;
  • Оформление в соответствии с ТК РФ с первого дня работы;
  • Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции;
  • Профессиональное обучение и развитие;
  • Яркая и насыщенная корпоративная жизнь;
  • Снабжаем всей необходимой современной техникой.

  • ✅ ОТКЛИКАЙСЯ =) ЖДУ, КОГДА ВМЕСТЕ ПОРАДУЕМСЯ ТВОЕМУ ОФФЕРУ)

Сайты компаний
Зарплата не указанаРоссияМосква

Привет! Это команда разработки DWH. Мы занимаемся созданием ETL процессов с использование Airflow, Vertica, Hadoop, Trino. Строим аналитическое хранилище DWH с использованием якорной модели. Занимаемся оптимизацией запросов, помогаем пользователям находить нужные данные. В команду направления хранения и обработки данных Ozon Tech ищем стажёра DWH-разработчика.

Наш стек

  • Trino, Vertica, Hadoop, Spark, Jupyter Notebook, Python, Airflow, Docker.

Вы будете

  • Профилировать данные различных областей: продажи, учёт, логистика, маркетинг.

  • Разрабатывать и развивать ETL-системы доставки, очистки и преобразования данных с помощью Airflow, Python и SQL.

  • Заниматься мониторингом, расследованием и исправлением инцидентов в pipline.

  • Оптимизировать запросы SQL.

  • Реализовывать масштабируемое хранилище на базе Vertica, Trino, Hadoop.

Нам важно

  • Статус действующего студента технической специальности.

  • Теоретические знания баз данных (включая нормальные формы).

  • Базовые навыки работы с SQL (SELECT-запросы с WHERE, ORDER BY и GROUP BY), оконные функции.

  • Понимание логики работы JOIN разных типов.

  • Базовые знания Python и способность реализовывать логические алгоритмы.

Будет плюсом

  • Навыки работы с Bash.

  • Навыки работы с Docker.

  • Примеры своих учебных, pet- или коммерческих проектов на GitHub.

hh.ru
СБЕР

Tech Lead Data engineer

СБЕР
до 500k ₽РоссияМоскваОфис

Наша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C - централизованное и эталонное место хранения данных. Мы ищем сильного инженера данных для работы с крупными распределенными системами. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink. Вам предстоит работать с высоконагруженными системами, потоковой обработкой и участвовать в построении единого хранилища данных компании.

Обязанности

  • разработка и оптимизация витрин данных: Проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum. Обеспечение высокой производительности и отказоустойчивости пайплайнов.
  • потоковая обработка данных (RT и NRT): Разработка и поддержка стриминговых пайплайнов. Построение NRT пайплайнов обработки данных из Kafka в Apache Iceberg (Kafka2Iceberg) и RT пайплайнов между Kafka (Kafka2Kafka) с использованием Apache Flink и Spark Structured Streaming.

Архитектура данных:

  • активное участие в разработке архитектуры решения потоковой обработки данных Data Streamhouse данных для обеспечения
  • разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg (оптимизация партиционирования, compaction, time travel).

Инженерные практики:

  • реализация механизмов инкрементальной загрузки данных для минимизации времени обработки и нагрузки на источники
  • разработка и документирование API (на Java или Scala) для доступа к данным витрин и сервисам семантического слоя

Производительность и качество:

  • глубокая оптимизация Spark-приложений, включая использование векторного движка Gluten/Velox для ускорения рабочих нагрузок
  • разработка решений для сверки и контроля качества данных (Data Quality) с использованием Spark и Python.

DevOps и CI/CD: Внедрение разработанных решений в продуктовую среду. Настройка пайплайнов сборки и деплоя в Jenkins, управление зависимостями задач в Oozie или современных оркестраторах.

Коммуникация: Взаимодействие с внутренними бизнес заказчиками для уточнения и согласования требований, презентация доработок сервиса.

Требования

  • уверенное владение языками: SQL, Java (или Scala), Python (как вспомогательный для ad-hoc анализа и DQ).
  • глубокое понимание экосистемы Apache Hadoop (HDFS, YARN) и опыт работы с ней в продакшене.
  • опыт разработки пайплайнов на Apache Spark (Core, SQL, Structured Streaming) уровня не ниже middle.
  • опыт работы с потоковыми данными: Apache Kafka (как источник/приемник) и хотя бы одним фреймворком стриминговой обработки (Apache Flink или Spark Streaming).
  • понимание форматов хранения данных (Parquet, ORC, Avro) и современных подходов к управлению Data Lakehouse (обязательно знание Apache Iceberg).
  • опыт оптимизации производительности Apache Spark (настройка ресурсов, устранение перекосов данных, работа с memory, оптимизация shuffle).

Будет большим плюсом:

  • опыт внедрения промышленных пайплайнов пакетной передачи данных.
  • опыт внедрения промышленных пайплайнов потоковой передачи данных.
  • опыт внедрения Gluten/Velox или аналогичных векторизованных движков.
  • навыки сборки и развертывания Doker-образов приложений.

Условия

  • офисный формат работы (м Кутузовская ул. Поклонная 3)
  • годовая премия
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • регулярные митапы и развитое DS-community
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
  • подписка Прайм с возможностью совместного использования на трёх близких
  • вознаграждение за рекомендацию друзей в команду Сбер.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.