- Опыт развертывания и настройки managed-кластеров Spark (Yandex Data Proc, Google Dataproc, AWS EMR).
Неизвестный работодатель На сервисе с: 09.10.26 11:43
DevOps Middle
Ставка: до 1700, с НДС
Локация: РФ
Гражданство: РФ
Срок привлечения: на 1 месяц, (старт: ••••••••
Требования:
Инфраструктура и Cloud:
- Опыт развертывания и настройки managed-кластеров Spark (Yandex Data Proc, Google Dataproc, AWS EMR).
- Владение Terraform (или Ansible) для автоматизации инфраструктуры.
- Настройка сетевого взаимодействия (VPC, VPN, Security Groups) между Greenplum и Spark.
- Опыт работы с Docker и Kubernetes (если Spark запускается на K8s).
Big Data стек:
- Понимание архитектуры Greenplum и способов выгрузки данных (gpfdist, PXF, JDBC).
- Знание архитектуры Spark (Driver, Executor, History Server), умение управлять ресурсами кластера.
- Настройка оркестрации пайплайнов (Apache Airflow).
- Работа с форматами данных (Parquet, ORC, Avro).
Мониторинг и CI/CD:
- Настройка мониторинга и логирования для Spark-джобов (Prometheus, Grafana, ELK).
- Настройка CI/CD для деплоя Spark-приложений (GitLab CI, Jenkins).
Языки и утилиты:
- Python (PySpark) или Scala — для написания инфраструктурных скриптов и отладки.
- Bash-скриптинг
Откликнуться на запрос: ••••••••
По вопросам партнерского сотрудничества: ••••••••
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.