❗️Готовность оформления на 0,5 к заказчику
Неизвестный работодатель
ID 3924 - Middle+ Data Engineer
🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм
❗️Готовность оформления на 0,5 к заказчику
🏢 Проект: Банк
Автоматизация резервного копирования данных Hadoop.
💡 Требования:
- Практический опыт разработки и сопровождения процессов обработки данных на Apache Flink: работа с потоками данных, состоянием задач, checkpoint/savepoint, обработкой ошибок и перезапуском заданий.
- Опыт работы с экосистемой Hadoop, прежде всего HDFS: организация хранения данных, работа с файлами и каталогами, понимание распределённого хранения и отказоустойчивости.
- Опыт разработки пайплайнов данных, настройки расписаний и зависимостей, контроля успешности выполнения.
- Уверенное владение SQL и одним из языков разработки пайплайнов - Python, Java или Scala.
- Понимание принципов резервного копирования и восстановления данных: целостность копий, повторный запуск после сбоя, контроль пропущенных и дублирующихся данных.
- Опыт диагностики ошибок обработки данных по логам и метрикам, поиска причин сбоев и оптимизации производительности пайплайнов.
- Опыт работы с Git, участия в code review и ведения технической документации.
📌Желательно
- Опыт работы с Hive и другими компонентами Hadoop.
- Опыт интеграции Flink с Kafka и источниками данных в Hadoop.
- Опыт работы с Apache Airflow, Spark, S3-совместимыми хранилищами.
- Опыт настройки мониторинга и алертинга в Grafana/Prometheus.
📨 Отклик — через форму: •••••••• или напрямую рекрутеру ••••••••
❗️Откликайтесь только при релевантном опыте.
❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями
❗️Повторный отклик: ID вакансии + сверка.
#Data #Engineer #Удаленно #вакансия
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.