rwb

Data Lakehouse Engineer в Корпоративное хранилище

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ. Сейчас мы одновременно развиваем два н…

rwb

194k–350k ₽Не указана странаЛокация не указанаУдалёнка

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ. Сейчас мы одновременно развиваем два направления: поддерживаем и совершенствуем существующее хранилище данных на Greenplum и строим новое хранилище на базе современного Data Lakehouse-подхода.

Вам предстоит

  • Проектировать и развивать Data Lakehouse платформу

  • Разрабатывать ETL/ELT пайплайны на базе Spark, DBT и Trino

  • Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake

  • Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana

  • Управлять инфраструктурой и конфигурацией платформы через GitOps (ArgoCD, Helm)

  • Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт

Мы ожидаем от вас

  • Имеете практический опыт построения Data Lakehouse платформ или крупных Data Platform решений

  • Обладаете опытом проектирования DLH с нуля

  • Имеете глубокое понимание архитектуры Spark: execution model, partitioning, memory management, shuffle, оптимизация запросов

  • Хорошо понимаете принципы работы форматов данных и таблиц в Data Lake (Iceberg/Parquet и аналогичных технологий)

  • У вас есть опыт работы с Trino и понимание принципов распределенного выполнения запросов

  • Обладаете опытом работы с Airflow и построения сложных data workflows, разработки кастомных операторов, сенсоров, хуков и плагинов

Что мы предлагаем

  • Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;

  • Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;

  • Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;

  • Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;

  • Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;

  • Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.

Похожие вакансии Data Engineer

hh.ru
водород

Data Engineer (Senior)

водородАвтоподнятие
Зарплата не указанаБеларусьМинскГибрид

Мы, VADAROD – IT компания, которая специализируется на разработке и сопровождении программных продуктов в финтех домене.

Для участия в проекте по построению корпоративного хранилища данных мы ищем Data Engineer.

Задачи:

  • создание слоя транформации сырых данных;

  • участие в развитии КХД в части разработки концептуальной, логической и физической модели данных;

  • участие в разработке архитектуры решения;

  • участие в code review.

Мы ожидаем:

  • знание SQL;

  • знание Python;
  • опыт написания и отладки сложных SQL-запросов;
  • практические навыки по проектированию схемы базы данных, опыт работы с ER-диаграммами.

Будет плюсом:

  • опыт работы в финтех домене или понимание бизнес-процессов в финансовых организациях;

  • опыт работы с аналитическими (оконными) функциями;

  • опыт работы с Apache Airflow, Debezium.

Мы предлагаем:

  • комфортный, современный офис в центре города;
  • гибкое начало рабочего дня;
  • медицинская страховка с включенной стоматологией;
  • курсы английского языка;
  • возможность внешнего и внутреннего обучения, участие в семинарах и конференциях;
  • отпуск 29 дней и выплата к отпуску;
  • обеспечиваем необходимой техникой для комфортной работы.

Откликайся! Мы ждем твое резюме)

*вакансия открыта в связи с перспективой потребности в работнике.

hh.ru
отп банк. it

Data engineer

отп банк. it
Зарплата не указанаРоссияМоскваОфис

Цель: Обеспечение стабильной, автоматизированной и масштабируемой инфраструктуры обработки данных для задач маркетинговой аналитики банка. Развитие процессов сбора и интеграции данных из внутренних и внешних источников, построение и оптимизация аналитических витрин, автоматизация регулярных расчётов и обновления BI-отчётности. Повышение качества, доступности и своевременности данных, сокращение ручных операций и снижение операционных рисков при подготовке аналитической информации для принятия бизнес-решений.

Чем предстоит заниматься:

  • Разработка ETL/ELT-процессов. Разработка, оптимизация и сопровождение процессов загрузки, преобразования и обработки данных с использованием SQL, Python, Apache Spark и других инструментов.
  • Развитие DWH и аналитических витрин. Проектирование, создание и поддержка аналитических моделей и витрин данных в Hadoop (Spark, Iceberg), Greenplum и ClickHouse; оптимизация хранения, обработки и выполнения запросов.
  • Интеграция внутренних и внешних источников данных. Организация загрузки данных из внутренних систем банка и внешних платформ, включая AppMetrica, Яндекс Метрику, Яндекс Директ и другие источники, посредством API, SFTP и иных согласованных способов обмена данными.
  • Автоматизация и оркестрация. Разработка и сопровождение процессов в Apache Airflow, управление расписаниями, зависимостями, повторными запусками и обработкой ошибок; перевод ручных расчётов в автоматизированные процессы.
  • Автоматизация BI-отчётности. Обеспечение регулярного обновления источников данных, датасетов и аналитических дашбордов FineBI, контроль своевременности и корректности обновления информации.
  • Контроль качества данных. Разработка и внедрение автоматизированных проверок полноты, корректности, уникальности и актуальности данных; выявление и устранение причин расхождений и ошибок.
  • Мониторинг и сопровождение. Контроль работоспособности пайплайнов, диагностика и устранение сбоев, настройка логирования, уведомлений и механизмов восстановления процессов.
  • Взаимодействие со смежными подразделениями. Совместная работа с аналитиками, владельцами информационных систем, инфраструктурными подразделениями и командами УИБ/ИБ по вопросам доступов, интеграций, согласования технических решений и выполнения требований информационной безопасности.
  • Развитие инженерных практик. Использование Git/Bitbucket, участие в Code Review, документирование решений, соблюдение стандартов разработки и участие в развитии процессов тестирования и поставки кода.
  • Техническая проработка задач. Участие в анализе требований, оценке трудоёмкости и декомпозиции задач совместно с аналитиками; выбор и реализация технических решений в рамках архитектуры и стандартов банка.

Что мы ожидаем от кандидата:

  • Уверенное владение SQL.
  • Уверенное владение Python для разработки процессов обработки данных, интеграций и автоматизации.
  • Практический опыт разработки и сопровождения ETL/ELT-процессов, включая инкрементальную загрузку, повторные запуски и обработку ошибок.
  • Опыт работы с Apache Spark (PySpark и/или Spark SQL), понимание принципов распределённой обработки больших объёмов данных.
  • Опыт работы с Apache Airflow или аналогичными инструментами оркестрации процессов.
  • Опыт работы с DWH и аналитическими базами данных, понимание архитектуры хранилищ и принципов построения аналитических витрин.
  • Понимание подходов к обеспечению качества данных, мониторингу и диагностике процессов обработки данных.
  • Опыт использования Git и инструментов совместной разработки.
  • Понимание принципов интеграции информационных систем, работы с API и основных способов передачи данных.
  • Умение работать с техническими требованиями, самостоятельно реализовывать согласованные решения и взаимодействовать с аналитиками и смежными IT-командами.

hh.ru
go-to-sport.ru

Инженер данных (Data Engineer)

go-to-sport.ru
Зарплата не указанаРоссияМоскваУдалёнка

GTS использует данные для продаж, закупок и планирования ассортимента спортивной одежды. Ищем инженера в пару к специалисту, который развивает аналитическую базу. Вы сможете вести процессы целиком, от загрузки до цифры в отчёте. График и вознаграждение обсудим на встрече.

Что предстоит делать

• Сопровождать загрузчики на Python, трансформации dbt в PostgreSQL и задания Dagster. Разбирать пропуски и дубли, проверять повторную загрузку за нужные даты.

• Готовить данные для первой версии отчётности в Metabase. Добавлять проверки полноты и свежести данных, настраивать оповещения и выбирать, какие события передавать ИИ-агенту.

• Сопровождать сервисы на Linux в Docker Compose. Настраивать доступ по HTTPS через обратный прокси и проверять в тестовой среде восстановление базы и конфигураций из ежедневных резервных копий.

• Описывать зависимости и порядок восстановления вместе с коллегой. Проверять инструкции на практике, чтобы каждый мог самостоятельно подменить другого.

Первый участок в работе Вместе выберете одну критичную загрузку. Вы проследите путь данных до отчёта, настроите оповещение и самостоятельно проведёте контрольный перезапуск. Затем по вашей инструкции коллега проверит, что итоговые суммы сходятся.

Какой опыт пригодится

  • Вы сопровождали рабочие загрузки данных,
  • Вы уверенно пишете на Python и SQL,
  • Вы знаете PostgreSQL, Linux и Docker.
  • Подойдёт опыт Dagster или другого оркестратора.
  • Практика работы с dbt и Metabase пригодится с первых задач.

В отклике Опишите сбой, который вы сами расследовали. Как заметили проблему, восстановили данные без дублей и какое изменение предложили, чтобы следующий сбой обнаружили раньше?

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.