Н

Middle+ Data Engineer (Python, Java)

❗️Готовность оформления на 0,5 к заказчику

Неизвестный работодатель

Зарплата не указанаРоссияУдалёнка

ID 3924 - Middle+ Data Engineer

🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм

❗️Готовность оформления на 0,5 к заказчику

🏢 Проект: Банк
Автоматизация резервного копирования данных Hadoop.

💡 Требования:
- Практический опыт разработки и сопровождения процессов обработки данных на Apache Flink: работа с потоками данных, состоянием задач, checkpoint/savepoint, обработкой ошибок и перезапуском заданий.
- Опыт работы с экосистемой Hadoop, прежде всего HDFS: организация хранения данных, работа с файлами и каталогами, понимание распределённого хранения и отказоустойчивости.
- Опыт разработки пайплайнов данных, настройки расписаний и зависимостей, контроля успешности выполнения.
- Уверенное владение SQL и одним из языков разработки пайплайнов - Python, Java или Scala.
- Понимание принципов резервного копирования и восстановления данных: целостность копий, повторный запуск после сбоя, контроль пропущенных и дублирующихся данных.
- Опыт диагностики ошибок обработки данных по логам и метрикам, поиска причин сбоев и оптимизации производительности пайплайнов.
- Опыт работы с Git, участия в code review и ведения технической документации.

📌Желательно
- Опыт работы с Hive и другими компонентами Hadoop.
- Опыт интеграции Flink с Kafka и источниками данных в Hadoop.
- Опыт работы с Apache Airflow, Spark, S3-совместимыми хранилищами.
- Опыт настройки мониторинга и алертинга в Grafana/Prometheus.

📨 Отклик — через форму: •••••••• или напрямую рекрутеру ••••••••

❗️Откликайтесь только при релевантном опыте.

❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями

❗️Повторный отклик: ID вакансии + сверка.

#Data #Engineer #Удаленно #вакансия

Похожие вакансии Data Engineer

hh.ru
bell integrator

Data Engineer (Москва)

bell integrator
Зарплата не указанаРоссияМоскваУдалёнка

Основные требования:

  • Высшее образование по профилю (математическое, техническое);
  • Python (базовые алгоритмы и структуры данных, pandas, работа с БД, с файлами);
  • Hadoop (PySpark, hdfs, hive);
  • Опыт написания SQL запросов (join, cte, оконные функции);
  • Использование инструментов командной разработки (Git, Bitbucket)
  • Знание систем баг-трекинга и ведения задач проектов (Jira, etc);
  • Минимум 3-летний опыт работы дата инженером;
  • Умение работать с большим объемом информации и в режиме многозадачности;
  • Опыт самостоятельной проработки задач с нуля, активная позиция при решении проблем.

Будет плюсом:

  • Опыт работы в Agile-команде;
  • Опыт проработки архитектурных решений;
  • Опыт работы с Confluence;
  • Знание и понимание основных процессов в банковской сфере.

Обязанности:

  • Реализация кода как в промышленной, так и в лабораторной зоне на базе Hadoop по подготовке витрин с данными;
  • Оптимизация текущих решений по подготовке витрин с данными.

Условия:

  • Возможность профессионального и карьерного роста в компании;
  • Возможность поучаствовать в разных проектах;
  • Опыт работы в распределенной команде профессионалов;
  • Уровень заработной платы обсуждается индивидуально;
  • Формат работы: г. Москва, удаленно.
Соц.сети
Зарплата не указанаКиргизияБишкекОфис

Всем привет!)

Ищу специалиста по аналитике и разработке данных ко мне в отдел управления взаиморасчетов. О! Банк, ищу сотрудника с опытом работы от 1 года и более (джун, или мидл)

Основные задачи:

Работа с базами данных PostgreSQL и Oracle.

Написание и оптимизация SQL-запросов.

Автоматизация процессов на Python.

Разработка и поддержка ETL-процессов.

Сверка данных между различными системами.

Работа с DWH и контроль качества данных.

Постройка витрин данных.

Делать AD hoc запросы.

Что ожидаем:

Хорошее знание SQL.

Знание Python.

Опыт работы с базами данных.

Аналитическое мышление и умение самостоятельно решать задачи.

Будет плюсом:

Опыт работы с Airflow и dbt.

Знание Docker и Linux.

Опыт миграции данных.

Опыт работы в банковской сфере.

Работа в офисе с 9:00 до 18:00. (удаленки нету!)

Ищем только тех кто проживает в Бишкеке.

Если интересно отправляй резюме в личные сообщения или рекомендуй знакомых)

Тг @aegemberdiev_ob

Тг @aegemberdiev_ob
hh.ru
мартин

Инженер данных

мартин
Зарплата не указанаРоссияМоскваГибрид

Обязанности

- Поддерживать и дорабатывать сервисы на Python для обработки и загрузки файлов Excel/CSV в базы данных.

- Писать и оптимизировать SQL-запросы, представления и хранимые процедуры в Microsoft SQL Server и PostgreSQL.

- Вносить изменения в справочные таблицы: корректировать записи, устранять дубли, поддерживать сопоставление с эталонными справочниками.

- Разрабатывать проверки полноты, точности, согласованности и актуальности данных; находить причины расхождений и исправлять ошибки обработки.

- Развивать журналирование и контроль загрузок, обеспечивать повторный запуск без потери и задвоения данных.

- Создавать и актуализировать техническую документацию: описания таблиц, источников и движения данных, правил преобразования, инструкций по запуску и сопровождению сервисов.

- Участвовать в развитии DWH: подключать новые источники, развивать слои и витрины данных, оптимизировать производительность.

- Взаимодействовать с руководителем подразделения и внутренними заказчиками по задачам обработки данных и развития DWH.

Требования

- Практический опыт разработки или сопровождения процессов обработки данных.

- Уверенное знание SQL: соединения, подзапросы, CTE, оконные функции; понимание индексов, транзакций и причин блокировок.

- Владение Python для обработки файлов и работы с БД: преобразование и проверка данных, обработка исключений, логирование.

- Опыт работы с Microsoft SQL Server или PostgreSQL и готовность работать с обеими СУБД. - Понимание ETL/ELT и опыт поддержки регулярных загрузок данных.

- Навыки работы с Git, умение разбираться в существующем коде и вносить проверяемые изменения.

- Умение писать понятную техническую документацию и внимательно работать с данными.

Будет преимуществом

- Опыт развития DWH, понимание моделирования данных и построения витрин.

- Опыт работы с pandas, openpyxl, SQLAlchemy или аналогичными библиотеками.

- Понимание принципов работы RLS (Row-Level Security) — разграничения доступа к данным на уровне строк.

- Знакомство с Apache Airflow, dbt или другими инструментами оркестрации и преобразования данных; опыт работы с Docker.

- Опыт анализа планов запросов, настройки индексов и работы с большими таблицами.

- Знакомство с ClickHouse и Apache Superset.

Условия

- Работа в торгово-производственной компании, являющаяся лидером рынка;

- Оформление в соответствии с ТК РФ;

- Достойная заработная плата (обсуждается с успешным кандидатом);

- Предоставление ноутбука и корпоративной мобильной связи;

- График работы: понедельник-пятница, с 9:00 до 18:00.

- Формат работы: гибрид

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.