Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.
Неизвестный работодатель
ID 3803 - Senior Data Engineer
🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм
🏢 Проект: Альфа банк
💡 Требования:
Профессиональные навыки и опыт:
Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.
Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop).
Практические навыки конфигурации и оптимизации Spark-приложений и управления ресурсами Spark.
Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
Навыки работы с контейнеризацией и оркестрацией в среде Kubernetes (K8s).
Опыт проведения нагрузочного тестирования систем обработки данных.
⚙️Стек технологий:
СУБД: PostgreSQL, MS-SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive).
Data Stack: Hadoop, S3, Impala, Hive, Spark, Iceberg, Kafka, Elasticsearch.
Языки программирования: Python (Pandas, NumPy, Matplotlib), C#, SQL.
Инструментарий: Git, Jira, Kubernetes.
Общие компетенции:
Экспертное владение SQL и навыками оптимизации сложных запросов.
Знание основ математической статистики, анализа данных и основ машинного обучения.
Умение работать в условиях распределенных систем и обеспечивать консистентность данных при автоматическом определении типов схем.
📋Задачи:
Развитие интеграционной среды: Разработка потоков подключения метаданных информационных систем к Единому интеграционному слою и витрине DMDC.
Автоматизация и шаблонизация: Создание шаблонов в платформе управления метаданными для обеспечения подключения ключевых типов СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool).
Разработка инструментов автоматизации: Проектирование Python-скриптов для автоматической генерации DDL/DML запросов и Airflow DAG для процессов загрузки и обслуживания данных.
Поддержка и оптимизация: Исправление ошибок существующих потоков, а также разработка Airflow DAG для обслуживания таблиц Iceberg с применением кастомных операторов (оптимизация чтения при наличии значительного количества delete-файлов).
Модернизация витрины: Доработка функциональности витрины DMDC для обеспечения полной поддержки возможностей каталога данных.
Документирование: Подготовка и ведение проектной документации по результатам разработки.
📨 Отклик — через форму: •••••••• или напрямую рекрутеру ••••••••
❗️Откликайтесь только при релевантном опыте.
❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями
❗️Повторный отклик: ID вакансии + сверка.
#Data #Engineer #Удаленно #вакансия
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.