A

Data Engineer (Python)

Наша команда инфраструктуры аналитики помогает аналитикам делать свою работу. Мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации.

aviasales

↑ Вакансия с автоподнятием
Зарплата не указанаНе указана странаЛокация не указана

Наша команда инфраструктуры аналитики помогает аналитикам делать свою работу. Мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации.


В компании много самодостаточных команд. В каждой команде свои сервисы, свои разработчики и аналитики. Так что у нас достаточно потоков данных самого разнообразного формата и объема. Это данные о букингах, на которые смотрит вся компания, и каждая запись проверяется чуть ли не руками, а еще — данные о билетах объемом более терабайта в сутки. Это требует разных подходов с нашей стороны.


  • Наша платформа основана по принципам LakeHouse архитектуры. Наш стек: Spark, Trino, AWS S3, DeltaLake format, DBT, Kafka, Airbyte, Apache Airflow, DataHub.
  • Тестирование и сборка производятся на CI сервере (Jenkins). Также присутствует Terraform. Деплой в Kubernetes(EKS в AWS). Настройкой серверов и разворачиванием баз мы не занимаемся. Это делает отдельная команда инфраструктуры.

Нам нужен еще один дата инженер в нашу дружную команду, который в ближайшей перспективе будет сфокусирован на задачах одной из продуктовых команд.

Задачи

  • подключать новые источники и разрабатывать/модернизировать data pipelines;
  • настраивать и поддерживать аналитическое окружение;
  • отправлять и обмениваться данными с внешними и внутренними сервисами;
  • модернизировать текущую дата платформу вместе с core командой дата инженеров;
  • работать в паре с еще одним продуктовым дата инженером.

Требования

  • опыт работы инженером данных от 2 лет;
  • отличное знание Python, SQL;
  • опыт разработки процесса для тестирования данных
  • умение строить высоконагруженные streaming и batch пайплайны
  • опыт работы в нашем стеке Apache Spark, Apache Airflow, Trino будет плюсом;
  • опыт работы с Kubernetes, Terraform и с AWS приветствуется
  • самостоятельность и ответственность, умение коммуницировать с разными командами и людьми
  • желание развиваться и выстраивать процессы вокруг себя;
  • навыки работы с ИИ агентами ( Claude Code, Codex и тд).

Условия

  • в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;
  • без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;
  • компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;
  • на райском острове: можно работать на Пхукете с видом на океан.

Похожие вакансии Data Engineer

hh.ru
СБЕР

Tech Lead Data engineer

СБЕР
до 500k ₽РоссияМоскваОфис

Наша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C - централизованное и эталонное место хранения данных. Мы ищем сильного инженера данных для работы с крупными распределенными системами. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink. Вам предстоит работать с высоконагруженными системами, потоковой обработкой и участвовать в построении единого хранилища данных компании.

Обязанности

  • разработка и оптимизация витрин данных: Проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum. Обеспечение высокой производительности и отказоустойчивости пайплайнов.
  • потоковая обработка данных (RT и NRT): Разработка и поддержка стриминговых пайплайнов. Построение NRT пайплайнов обработки данных из Kafka в Apache Iceberg (Kafka2Iceberg) и RT пайплайнов между Kafka (Kafka2Kafka) с использованием Apache Flink и Spark Structured Streaming.

Архитектура данных:

  • активное участие в разработке архитектуры решения потоковой обработки данных Data Streamhouse данных для обеспечения
  • разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg (оптимизация партиционирования, compaction, time travel).

Инженерные практики:

  • реализация механизмов инкрементальной загрузки данных для минимизации времени обработки и нагрузки на источники
  • разработка и документирование API (на Java или Scala) для доступа к данным витрин и сервисам семантического слоя

Производительность и качество:

  • глубокая оптимизация Spark-приложений, включая использование векторного движка Gluten/Velox для ускорения рабочих нагрузок
  • разработка решений для сверки и контроля качества данных (Data Quality) с использованием Spark и Python.

DevOps и CI/CD: Внедрение разработанных решений в продуктовую среду. Настройка пайплайнов сборки и деплоя в Jenkins, управление зависимостями задач в Oozie или современных оркестраторах.

Коммуникация: Взаимодействие с внутренними бизнес заказчиками для уточнения и согласования требований, презентация доработок сервиса.

Требования

  • уверенное владение языками: SQL, Java (или Scala), Python (как вспомогательный для ad-hoc анализа и DQ).
  • глубокое понимание экосистемы Apache Hadoop (HDFS, YARN) и опыт работы с ней в продакшене.
  • опыт разработки пайплайнов на Apache Spark (Core, SQL, Structured Streaming) уровня не ниже middle.
  • опыт работы с потоковыми данными: Apache Kafka (как источник/приемник) и хотя бы одним фреймворком стриминговой обработки (Apache Flink или Spark Streaming).
  • понимание форматов хранения данных (Parquet, ORC, Avro) и современных подходов к управлению Data Lakehouse (обязательно знание Apache Iceberg).
  • опыт оптимизации производительности Apache Spark (настройка ресурсов, устранение перекосов данных, работа с memory, оптимизация shuffle).

Будет большим плюсом:

  • опыт внедрения промышленных пайплайнов пакетной передачи данных.
  • опыт внедрения промышленных пайплайнов потоковой передачи данных.
  • опыт внедрения Gluten/Velox или аналогичных векторизованных движков.
  • навыки сборки и развертывания Doker-образов приложений.

Условия

  • офисный формат работы (м Кутузовская ул. Поклонная 3)
  • годовая премия
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • регулярные митапы и развитое DS-community
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
  • подписка Прайм с возможностью совместного использования на трёх близких
  • вознаграждение за рекомендацию друзей в команду Сбер.
hh.ru
beeline, тм

Data analytics-инженер

beeline, тм
Зарплата не указанаКазахстанАлматыОфис
Обязанности:
  • Анализ больших объемов данных, формирование витрин и отчетов.
  • Взаимодействие с отделами бизнеса и клиентов.
  • Разработка и поддержка витрин данных для нужд Data Science проектов
  • Разработка триггеров для бизнеса
  • Разработка дашбордов для мониторинга
Требования:
  • Знание SQL, Pyspark, Python, git.
  • Способность к критическому мышлению и решению проблем.
  • Умение эффективно работать в команде.
  • Четкая документация результатов работы и задач от заказчика.
  • Коммуникабельность и ответственность.
  • Ownership и умение реализовывать задачи end-to-end.
  • Знание Data Science будет плюсом.

В сопроводительном письме, пожалуйста, укажите свои зарплатные ожидания, спасибо! ❤️

Наши условия ниже :)

​​​​​​

Сайты компаний

Data Engineer

Автоподнятие
166k–248k ₽Не указана странаЛокация не указана
Текст:
Оригинал доступен только пользователям с подпиской

Location

Work from offices in Cyprus, Armenia, or Kazakhstan, or fully remote; employment is not available in Russia or Belarus.

About the company

An international game development company focused on bringing core gaming experiences to casual players. It operates as part of a larger holding of game studios and works across multiple countries.

Responsibilities

  • Design and build batch and streaming data pipelines, including ingestion from internal and external sources
  • Own and evolve the Bronze and Silver layers of the data platform, developing data lake and data warehouse models
  • Optimize Spark-based processing, maintain dbt models and data contracts, and support Kafka streaming pipelines
  • Implement monitoring, observability, and data quality checks while collaborating with analytics, marketing, platform, and backend teams

Requirements

  • 5+ years of data engineering experience with strong SQL and Python skills
  • Production experience building ETL/ELT pipelines and hands-on work with Spark/PySpark, including streaming
  • Knowledge of distributed data processing and storage, data lake and data warehouse architectures, Delta tables, Parquet, and S3
  • Practical experience with orchestration tools such as Airflow, Kafka streaming, and maintaining production-grade pipelines with observability and data quality practices

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.