Senior Data Engineer (Python, Java)
• Опыт работы Data Engineer от 5 лет.
redlab На сервисе с: 09.10.26 12:16
#Senior #Data_Engineer
Senior
Data инженер
Компания: RedLab
Локация: РФ, РБ
Гражданство: РФ, РБ
Опыт: больше 5-ти лет
Формат работы: удаленно
Занятость: Полная/проектная
ЗП: 350 000 - 380 000 RUB (гросс), оформление по ГПХ
Требования:
• Опыт работы Data Engineer от 5 лет.
• Знание методологии Data Vault 2.0
• Уверенные знания Python/Scala/Java для разработки ETL/ELT-процессов и сервисов обработки данных.
• Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объемами данных.
• Опыт проектирования и разработки промышленного Data Warehouse, Data Lake или Lakehouse решений.
• Практический опыт работы с Apache Spark.
• Опыт работы с Apache Airflow, Apache Kafka
• Опыт работы с системами потоковой обработки данных
• Опыт работы с распределенными файловыми системами и форматами хранения данных: HDFS, Parquet, Avro;
• Опыт работы с экосистемой Hadoop/Apache Iceberg или современными платформами хранения и обработки данных.
• Опыт работы с реляционными СУБД (PostgreSQL, Oracle, Clickhouse, Greenplum).
• Уверенное владение Git и понимание процессов CI/CD.
• Опыт работы с системами управления задачами и документацией (Jira, Confluence или аналоги).
• Понимание принципов построения отказоустойчивых и масштабируемых решений.
• Опыт использования dbt для построения трансформационных слоев данных.
• Практика внедрения Data Quality решений (Great Expectations, Soda и др.).
• Опыт работы с Data Catalog и Data Governance инструментами.
Задачи на проекте:
• Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных в корпоративной платформе данных.
• Разработка и оптимизация batch- и streaming-пайплайнов для загрузки, трансформации и публикации данных.
• Разработка ETL/ELT-процессов с использованием современных инструментов обработки данных.
• Проектирование моделей данных для аналитических и операционных сценариев.
• Оптимизация производительности процессов обработки данных и SQL-запросов.
• Обеспечение качества данных: реализация механизмов валидации, мониторинга и контроля полноты данных.
• Участие в проектировании архитектуры платформы данных и выборе технологических решений.
• Внедрение и развитие практик DataOps и CI/CD для процессов обработки данных.
• Подготовка технической документации и архитектурных артефактов.
• Проведение код-ревью, техническое менторство и участие в развитии команды.
Присылайте резюме и контактные данные на email: ••••••••
Похожие вакансии Data Engineer
Domclick.ru - единственный в России продукт, обеспечивающий полный цикл операций с недвижимостью. Доступен на всех популярных платформах (Web, iOS, Android). Решаем любые вопросы с недвижимостью, делая сложное простым, с заботой о каждом клиенте. Мы ищем единомышленников, чтобы вместе помогать людям исполнять мечту о собственном жилье.
Проект:
Мы - платформенная команда, и не занимаемся построением отчетов. Вместо этого мы разрабатываем базовый слой данных, который используется конечными потребителями.
Наш стек:
Python, PostgreSQL, Airflow, Trino, Greenplum, Clickhouse, Kafka, RabbitMQ, Go, K8s.
Чем предстоит заниматься:
- построением базового слоя витрин данных с применением SQL и Python;
- развивать и улучшать существующие продукты и сервисы;
- участвовать в проработке и реализации интеграций с другими сервисами и командами (кстати, у нас полностью микросервисная архитектура);
- обеспечивать высокое качество кода и улучшать процессы в своей команде;
- участвовать в развитии инфраструктурных решений для работы с big data.
От вас мы ожидаем:
- экспертное знание SQL;
- продвинутый уровень Python;
- навык оптимизации запросов;
- понимание особенностей работы с различными хранилищами данных: PostgreSQL, Greenplum, Clickhouse;
- владение архитектурой данных.
Будет плюсом:
- опыт работы с Airflow, Trino, Superset, k8s;
- опыт построения аналитического хранилища данных.
Мы предлагаем:
- работу в аккредитованной IT компании;
- конкурентную заработную плату;
- полис ДМС с первого месяца работы;
- современную технику для работы;
- корпоративный университет, онлайн-курсы для повышения квалификации, конференции, митапы;
- фитнес-зал в здании офиса;
- льготную программу ипотеки для сотрудников;
- комфортный офис класса А в 5 минутах от станции метро и МЦК Кутузовская;
- гибкое начало рабочего дня и возможность работать в гибридном или удаленном формате в пределах РФ.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.