Data Engineer (Python)

-​​Проектирование интеграционных ETL процессов по загрузки данных из источников в Lakehouse

Зарплата не указанаНе указана странаЛокация не указанаУдалёнка

#middle #удаленка

••••••••
Data Engineer
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо

☑️ Чем предстоит заниматься
-​​Проектирование интеграционных ETL процессов по загрузки данных из источников в Lakehouse
-определение источников и анализ данных в них
-написание прототипа select-запроса на отбор данных (SparkSQL)
-разработку документации(FSD , спецификации таблиц)
-определение критериев приёмки
-постановка задач на команду разработки
-приёмка результата

☑️ Наши пожелания к кандидатам
-​​​​​​​​​​​​
-1.Уверенное владение SQL (в приоритете диалекты Oracle, PostgreSQL),знание CTE и умение писать сложные запросы + DML запросы
-2. Знание SparkSQL (умение писать SELECT и смотреть план запроса )
-2.Понимание структуры DWH (слои). Владение одной из методологий построения DWH. Обязательный опыт работы с DWH
-3.Понимание процессов ETL/ELT
-4.Навыки системного анализа и ведения технической документации
-5.Навыки работы с Jira + Confluence или аналогичное
-Будет плюсом:
-1.Опыт работы с Greenplum или другой MPP БД
-2.Знание Python
-3.Опыт работы с Apache Airflow
-4.Знание PL\SQL или PgPL\SQL

Контакты: ••••••••

🔥 •••••••• / •••••••• / ••••••••

Похожие вакансии Data Engineer

hh.ru
bell integrator

Data Engineer (Москва)

bell integrator
Зарплата не указанаРоссияМоскваУдалёнка

Основные требования:

  • Высшее образование по профилю (математическое, техническое);
  • Python (базовые алгоритмы и структуры данных, pandas, работа с БД, с файлами);
  • Hadoop (PySpark, hdfs, hive);
  • Опыт написания SQL запросов (join, cte, оконные функции);
  • Использование инструментов командной разработки (Git, Bitbucket)
  • Знание систем баг-трекинга и ведения задач проектов (Jira, etc);
  • Минимум 3-летний опыт работы дата инженером;
  • Умение работать с большим объемом информации и в режиме многозадачности;
  • Опыт самостоятельной проработки задач с нуля, активная позиция при решении проблем.

Будет плюсом:

  • Опыт работы в Agile-команде;
  • Опыт проработки архитектурных решений;
  • Опыт работы с Confluence;
  • Знание и понимание основных процессов в банковской сфере.

Обязанности:

  • Реализация кода как в промышленной, так и в лабораторной зоне на базе Hadoop по подготовке витрин с данными;
  • Оптимизация текущих решений по подготовке витрин с данными.

Условия:

  • Возможность профессионального и карьерного роста в компании;
  • Возможность поучаствовать в разных проектах;
  • Опыт работы в распределенной команде профессионалов;
  • Уровень заработной платы обсуждается индивидуально;
  • Формат работы: г. Москва, удаленно.
Соц.сети
Зарплата не указанаКиргизияБишкекОфис

Всем привет!)

Ищу специалиста по аналитике и разработке данных ко мне в отдел управления взаиморасчетов. О! Банк, ищу сотрудника с опытом работы от 1 года и более (джун, или мидл)

Основные задачи:

Работа с базами данных PostgreSQL и Oracle.

Написание и оптимизация SQL-запросов.

Автоматизация процессов на Python.

Разработка и поддержка ETL-процессов.

Сверка данных между различными системами.

Работа с DWH и контроль качества данных.

Постройка витрин данных.

Делать AD hoc запросы.

Что ожидаем:

Хорошее знание SQL.

Знание Python.

Опыт работы с базами данных.

Аналитическое мышление и умение самостоятельно решать задачи.

Будет плюсом:

Опыт работы с Airflow и dbt.

Знание Docker и Linux.

Опыт миграции данных.

Опыт работы в банковской сфере.

Работа в офисе с 9:00 до 18:00. (удаленки нету!)

Ищем только тех кто проживает в Бишкеке.

Если интересно отправляй резюме в личные сообщения или рекомендуй знакомых)

Тг @aegemberdiev_ob

Тг @aegemberdiev_ob
hh.ru
мартин

Инженер данных

мартин
Зарплата не указанаРоссияМоскваГибрид

Обязанности

- Поддерживать и дорабатывать сервисы на Python для обработки и загрузки файлов Excel/CSV в базы данных.

- Писать и оптимизировать SQL-запросы, представления и хранимые процедуры в Microsoft SQL Server и PostgreSQL.

- Вносить изменения в справочные таблицы: корректировать записи, устранять дубли, поддерживать сопоставление с эталонными справочниками.

- Разрабатывать проверки полноты, точности, согласованности и актуальности данных; находить причины расхождений и исправлять ошибки обработки.

- Развивать журналирование и контроль загрузок, обеспечивать повторный запуск без потери и задвоения данных.

- Создавать и актуализировать техническую документацию: описания таблиц, источников и движения данных, правил преобразования, инструкций по запуску и сопровождению сервисов.

- Участвовать в развитии DWH: подключать новые источники, развивать слои и витрины данных, оптимизировать производительность.

- Взаимодействовать с руководителем подразделения и внутренними заказчиками по задачам обработки данных и развития DWH.

Требования

- Практический опыт разработки или сопровождения процессов обработки данных.

- Уверенное знание SQL: соединения, подзапросы, CTE, оконные функции; понимание индексов, транзакций и причин блокировок.

- Владение Python для обработки файлов и работы с БД: преобразование и проверка данных, обработка исключений, логирование.

- Опыт работы с Microsoft SQL Server или PostgreSQL и готовность работать с обеими СУБД. - Понимание ETL/ELT и опыт поддержки регулярных загрузок данных.

- Навыки работы с Git, умение разбираться в существующем коде и вносить проверяемые изменения.

- Умение писать понятную техническую документацию и внимательно работать с данными.

Будет преимуществом

- Опыт развития DWH, понимание моделирования данных и построения витрин.

- Опыт работы с pandas, openpyxl, SQLAlchemy или аналогичными библиотеками.

- Понимание принципов работы RLS (Row-Level Security) — разграничения доступа к данным на уровне строк.

- Знакомство с Apache Airflow, dbt или другими инструментами оркестрации и преобразования данных; опыт работы с Docker.

- Опыт анализа планов запросов, настройки индексов и работы с большими таблицами.

- Знакомство с ClickHouse и Apache Superset.

Условия

- Работа в торгово-производственной компании, являющаяся лидером рынка;

- Оформление в соответствии с ТК РФ;

- Достойная заработная плата (обсуждается с успешным кандидатом);

- Предоставление ноутбука и корпоративной мобильной связи;

- График работы: понедельник-пятница, с 9:00 до 18:00.

- Формат работы: гибрид

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.