лига цифровой экономики

Data Engineer (Python)

Сейчас мы в поиске Дата инженера для работы над крупным банковским проектом по репликации данных из S3 в Hadoop

лига цифровой экономики

Зарплата не указанаРоссияМоскваУдалёнка

Сейчас мы в поиске Дата инженера для работы над крупным банковским проектом по репликации данных из S3 в Hadoop

Твои задачи:

  • Реализовывать репликацию данных

  • Разрабатывать ETL-процессы для интеграционных задач и тестировать их

  • Декомпозировать задачи, оценивать длительность и трудоемкость каждого этапа

  • Анализировать и формализовать требования заказчика

  • Собирать прототип решения

  • Анализировать качество данных

  • Писать проектную документацию (FSD, BRD, регламент, Admin Guide, User Guide)

  • Тестировать функционал и передавать заказчику

  • Выполнять ad-hoc выгрузки по требованиям заказчика

Что мы ждем от тебя:

  • Уверенное владение SQL

  • Опыт работы с Python

  • Опыт работы с Apache Spark, Hadoop\S3\S3-like, Airflow

  • Навыки декомпозиции сложных задач и управления приоритетами-

  • Способность создавать понятную и структурированную техническую документацию

  • Будет плюсом:

  • Опыт работы с Parquet\ORC, Apache Iceberg

  • Опыт работы с Kafka

  • Знание архитектуры Data Vault

Что мы обеспечиваем:

  • Внутренние семинары, внутренние митапы, мы очень любим учиться новому

  • ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи

  • Технику для комфортной работы

  • Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудника

Похожие вакансии Data Engineer

Соц.сети

Senior Data Engineer

Зарплата не указанаПольшаКипрБеларусьГерманияНидерландыИспанияПортугалияГрузияЧехияЛюксембургЛатвияЛитваЭстонияВенгрияРумынияФинляндияФранцияАвстрияГрецияДанияИталияСловакияУдалёнка

Senior Data Engineer ••••••••

Местоположение: EU, Грузия, Беларусь
Формат работы: Удаленно
Опубликована: ••••••••

Требования:
• Международный опыт проектов с рабочим английским
• 5+ лет опыта, из них 2–3 года с Azure
• Стек данных Azure
• Python/PySpark, SQL

Контакт: ••••••••

•••••••• опубликована в ••••••••

Сайты компаний

Data Engineer

Автоподнятие
Зарплата не указанаКазахстанУзбекистанКиргизияГибрид
Текст:
Оригинал доступен только пользователям с подпиской

Location

Manila-based with a hybrid-first setup; fully remote work is possible for eligible roles, with core collaboration hours from 12:00 to 19:00 Manila time (UTC+8).

About the company

A technology-driven financial company building a banking and lending platform across Southeast Asia, beginning in the Philippines. It serves millions of users through a large app and partner network, combining global fintech expertise with local market knowledge.

Responsibilities

  • Design and operate batch and streaming data pipelines on Databricks and Apache Spark over AWS, ingesting from databases, APIs, and event streams.
  • Shape lakehouse architecture on S3 and Delta Lake, including medallion Bronze/Silver/Gold layering and storage optimization.
  • Own projects end to end, from stakeholder alignment and design review through implementation, launch, and ongoing support.
  • Build self-service, scalable ETL/ELT solutions and maintain governance and access control with Unity Catalog, including PII handling.

Requirements

  • Hands-on Databricks experience and strong Apache Spark skills, with PySpark and/or Scala.
  • Strong Python for data engineering, plus SQL and Spark SQL for transformation and analytics.
  • Experience with Delta Lake and lakehouse architectures, including performance optimization of Spark jobs and storage formats such as Parquet and Delta.
  • Proven project ownership and clean, testable, maintainable code with Git-based version control; infrastructure-as-code experience such as Terraform or Ansible is a plus, not required.
Сайты компаний
СБЕР

Data engineer в команду GigaChat (TTS)

СБЕРАвтоподнятие
Зарплата не указанаРоссияМосква

Наша команда отвечает за качество моделей TTS в GigaChat – той части нейросети, которая занимается звуком. Сейчас мы ищем ребят, которые будут работать над базовым качеством, мультимодальным Гигачатом и другими классными проектами.

Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Писать пайплайны обработки аудио/видео данных.

Хотим обрабатывать десятки тысяч часов в день на кластере

инферить опенсорсные и внутренние модели на гпу (денойзер, распознавание, тулы для оценки качества аудио)

поддержка сетевого хранилища данных

  • python и алгоритмы на хорошем уровне

  • опыт с multithreading и multiprocess

  • опыт обучения и/или инференса тяжелых моделей на нескольких гпу

  • s3, dvc, git

  • гибридный или удаленный формат работы

  • ежегодный пересмотр зарплаты и годовая премия

  • корпоративный спортзал и зоны отдыха

  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

Эта вакансия также есть на:Getmatch

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.