Data Engineer (Snowflake)

Зарплата не указанаПольшаЛитваGdańskУдалёнка

Data Engineer (Snowflake)
•••••••• is an outsourcing IT company specializing in custom software development, AI integration, data engineering, and application modernization.
Gdańsk, Poland.
••••••••.
More details in Olga Lipnicka's ••••••••.

Похожие вакансии Data Engineer

hh.ru
водород

Data Engineer (Senior)

водородАвтоподнятие
Зарплата не указанаБеларусьМинскГибрид

Мы, VADAROD – IT компания, которая специализируется на разработке и сопровождении программных продуктов в финтех домене.

Для участия в проекте по построению корпоративного хранилища данных мы ищем Data Engineer.

Задачи:

  • создание слоя транформации сырых данных;

  • участие в развитии КХД в части разработки концептуальной, логической и физической модели данных;

  • участие в разработке архитектуры решения;

  • участие в code review.

Мы ожидаем:

  • знание SQL;

  • знание Python;
  • опыт написания и отладки сложных SQL-запросов;
  • практические навыки по проектированию схемы базы данных, опыт работы с ER-диаграммами.

Будет плюсом:

  • опыт работы в финтех домене или понимание бизнес-процессов в финансовых организациях;

  • опыт работы с аналитическими (оконными) функциями;

  • опыт работы с Apache Airflow, Debezium.

Мы предлагаем:

  • комфортный, современный офис в центре города;
  • гибкое начало рабочего дня;
  • медицинская страховка с включенной стоматологией;
  • курсы английского языка;
  • возможность внешнего и внутреннего обучения, участие в семинарах и конференциях;
  • отпуск 29 дней и выплата к отпуску;
  • обеспечиваем необходимой техникой для комфортной работы.

Откликайся! Мы ждем твое резюме)

*вакансия открыта в связи с перспективой потребности в работнике.

hh.ru
М

Data Engineer (Middle+/Senior)

мфо sapa digital finance
Зарплата не указанаКазахстанАлматыОфис

Ищем сильного Data Engineer уровня Middle+/Senior, который умеет самостоятельно проектировать и развивать процессы обработки данных.

Вы станете первым Data-инженером компании и владельцем данных - совместно с подрядчиком возьметесь за реализацию хранилища данных и доведете его до рабочего состояния с дальнейшим развитием до платформы данных. Позиция с перспективой роста до руководителя Data направления.

Задачи
  • Ведение хранилища данных - архитектура слоев, модель данных, паттерны разработки ХД и подключение новых источников
  • Построение истории изменения данных (SCD2) и сквозного ключа клиента между источниками
  • Разработка, поддержка и оптимизация ETL/ELT-процессов.
  • Ведение хранилища данных - архитектура слоев, модель данных, паттерны разработки ХД и подключение новых источников
  • Построение и развитие пайплайнов сбора, обработки и загрузки данных.
  • Интеграция данных из различных источников: API, реляционные БД, Kafka, внешние сервисы.
  • Участие в проектировании и развитии хранилищ данных (DWH, Data Lake, Data Lakehouse).
  • Разработка и оптимизация процессов пакетной и потоковой обработки данных.
  • Обеспечение качества, целостности, актуальности и согласованности данных.
  • Оптимизация SQL-запросов и производительности обработки больших объемов данных.
  • Настройка мониторинга, логирования и обработки ошибок в пайплайнах данных.
  • Резервное копирование и регулярные проверки восстановления хранилища.
  • Подготовка и предоставление данных для аналитики, отчетности и подготовка признаков для ML-моделей.
  • Постановка задач, приемка работ и взаимодействие с подрядчиками
  • Документирование данных
Требования
  • Опыт работы на позиции Data Engineer от 4 лет.
  • Опыт построения хранилища или его рефакторинга, от источника до витрины, на ведущих ролях
  • Уверенное владение SQL и Python.
  • Практический опыт работы с PostgreSQL и ClickHouse. Глубокое знание PostgreSQL-индексы, патиционирование, репликация, планы запросов, резервное копирование и восстановление и т.п.
  • Моделирование данных с историей изменений, бизнес-ключи
  • Опыт применения автоматических проверок качества данных
  • Опыт разработки ETL/ELT-процессов с использованием Apache Airflow или аналогичных инструментов.
  • Понимание принципов проектирования DWH, Data Lakehouse и моделирования данных.
  • Понимание различий между OLTP и OLAP-системами.
  • Опыт работы с большими объемами данных и оптимизации SQL-запросов.
  • Понимание принципов инкрементальной загрузки данных и CDC.
  • Опыт работы с Git.
  • Понимание принципов мониторинга, отказоустойчивости и восстановления процессов обработки данных.
  • Самостоятельность, системное мышление и ответственность за результат. Умение объяснять технические вещи простым языком.
Будет плюсом
  • Опыт работы с Apache Kafka и потоковой обработкой данных.
  • dbt или аналогичный инструмент трансформаций
  • Практический опыт построения или развития Data Lakehouse.
  • Знакомство с ML-пайплайнами и MLOps.
  • Опыт работы с финансовыми данными, скоринговыми системами или кредитными продуктами.
  • Опыт работы с данными BPM-систем
  • Опыт подготовки данных для регуляторной отчетности
  • Опыт интеграции данных в микросервисной архитектуре.
Условия
  • Ответственность за архитектуру данных и самостоятельное принятие технических решений по ней
  • Перспектива роста до руководителя Data направления компании
  • Работа в финтех-компании с действующими продуктами и реальными объемами данных.
  • Участие в развитии платформы данных и построении современных решений для аналитики.
  • Возможность влиять на архитектуру и развитие Data-направления.
  • Офисный формат работы, Алматы.
  • Конкурентная заработная плата по результатам собеседования.
  • Компенсация профильных курсов и профессионального обучения.
  • Бесплатные курсы английского языка.
  • Медицинское страхование за счёт компании с установленным лимитом покрытия
hh.ru
отп банк. it

Data engineer

отп банк. it
Зарплата не указанаРоссияМоскваОфис

Цель: Обеспечение стабильной, автоматизированной и масштабируемой инфраструктуры обработки данных для задач маркетинговой аналитики банка. Развитие процессов сбора и интеграции данных из внутренних и внешних источников, построение и оптимизация аналитических витрин, автоматизация регулярных расчётов и обновления BI-отчётности. Повышение качества, доступности и своевременности данных, сокращение ручных операций и снижение операционных рисков при подготовке аналитической информации для принятия бизнес-решений.

Чем предстоит заниматься:

  • Разработка ETL/ELT-процессов. Разработка, оптимизация и сопровождение процессов загрузки, преобразования и обработки данных с использованием SQL, Python, Apache Spark и других инструментов.
  • Развитие DWH и аналитических витрин. Проектирование, создание и поддержка аналитических моделей и витрин данных в Hadoop (Spark, Iceberg), Greenplum и ClickHouse; оптимизация хранения, обработки и выполнения запросов.
  • Интеграция внутренних и внешних источников данных. Организация загрузки данных из внутренних систем банка и внешних платформ, включая AppMetrica, Яндекс Метрику, Яндекс Директ и другие источники, посредством API, SFTP и иных согласованных способов обмена данными.
  • Автоматизация и оркестрация. Разработка и сопровождение процессов в Apache Airflow, управление расписаниями, зависимостями, повторными запусками и обработкой ошибок; перевод ручных расчётов в автоматизированные процессы.
  • Автоматизация BI-отчётности. Обеспечение регулярного обновления источников данных, датасетов и аналитических дашбордов FineBI, контроль своевременности и корректности обновления информации.
  • Контроль качества данных. Разработка и внедрение автоматизированных проверок полноты, корректности, уникальности и актуальности данных; выявление и устранение причин расхождений и ошибок.
  • Мониторинг и сопровождение. Контроль работоспособности пайплайнов, диагностика и устранение сбоев, настройка логирования, уведомлений и механизмов восстановления процессов.
  • Взаимодействие со смежными подразделениями. Совместная работа с аналитиками, владельцами информационных систем, инфраструктурными подразделениями и командами УИБ/ИБ по вопросам доступов, интеграций, согласования технических решений и выполнения требований информационной безопасности.
  • Развитие инженерных практик. Использование Git/Bitbucket, участие в Code Review, документирование решений, соблюдение стандартов разработки и участие в развитии процессов тестирования и поставки кода.
  • Техническая проработка задач. Участие в анализе требований, оценке трудоёмкости и декомпозиции задач совместно с аналитиками; выбор и реализация технических решений в рамках архитектуры и стандартов банка.

Что мы ожидаем от кандидата:

  • Уверенное владение SQL.
  • Уверенное владение Python для разработки процессов обработки данных, интеграций и автоматизации.
  • Практический опыт разработки и сопровождения ETL/ELT-процессов, включая инкрементальную загрузку, повторные запуски и обработку ошибок.
  • Опыт работы с Apache Spark (PySpark и/или Spark SQL), понимание принципов распределённой обработки больших объёмов данных.
  • Опыт работы с Apache Airflow или аналогичными инструментами оркестрации процессов.
  • Опыт работы с DWH и аналитическими базами данных, понимание архитектуры хранилищ и принципов построения аналитических витрин.
  • Понимание подходов к обеспечению качества данных, мониторингу и диагностике процессов обработки данных.
  • Опыт использования Git и инструментов совместной разработки.
  • Понимание принципов интеграции информационных систем, работы с API и основных способов передачи данных.
  • Умение работать с техническими требованиями, самостоятельно реализовывать согласованные решения и взаимодействовать с аналитиками и смежными IT-командами.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.