Senior Data Engineer (Python)
#vacancy #remote #dataengineering #microsoftfabric #azure #python #pyspark #sql
Неизвестный работодатель На сервисе с: 07.10.26 13:35
#vacancy #remote #dataengineering #microsoftfabric #azure #python #pyspark #sql
Senior Data Engineer
Локация: удаленно (Великобритания / Нидерланды)
Зарплата: $5,000–9,000 gross
Требования:
▫️Data Platform: Microsoft Fabric (OneLake, Data Factory, Synapse Data Engineering / Data Warehouse)
▫️Data Engineering: Apache Spark / PySpark, Azure Data Factory, Dataflow Gen2, ETL/ELT
▫️Programming: Python, SQL / T-SQL
▫️Architecture & Storage: Lakehouse / DWH, Medallion Architecture (Bronze / Silver / Gold), Delta Lake / Parquet
▫️Cloud: Microsoft Azure, AWS S3 / GCP, Fabric Shortcuts
▫️DevOps: Git, Azure DevOps / GitHub Actions, Docker, CI/CD
▫️Data Analytics: Data Marts, relational data modeling, Power BI - буде преимуществом
▫️Английский: В2+
Основные задачи:
▫️Архитектура Lakehouse / DWH
Проектирование и построение end-to-end архитектуры хранилища данных с нуля в среде Microsoft Fabric. Реализация многоуровневой архитектуры хранения данных по модели Medallion — Bronze, Silver, Gold — на основе Delta Lake (Parquet).
▫️Разработка ETL/ELT-пайплайнов
Создание и поддержка надёжных и отказоустойчивых pipelines для интеграции данных с использованием Azure Data Factory и Dataflow Gen2. Настройка подключений к внешним облачным источникам AWS S3 / GCP через Fabric Shortcuts.
▫️Обработка больших данных
Разработка и оптимизация высокопроизводительного распределённого кода на PySpark для очистки данных, сложных трансформаций и агрегации больших объёмов информации.
▫️Проектирование Data Marts и работа с T-SQL
Проектирование реляционных моделей данных и аналитических представлений в Synapse Data Warehouse. Оптимизация сложных T-SQL-запросов для достижения минимальной задержки.
▫️Автоматизация и CI/CD
Настройка процессов Continuous Integration и Continuous Deployment с использованием Azure DevOps / GitHub Actions для автоматизации развёртывания инфраструктуры DWH, схем и кода.
Пишите в Telegram: ••••••••
Похожие вакансии Data Engineer
Domclick.ru - единственный в России продукт, обеспечивающий полный цикл операций с недвижимостью. Доступен на всех популярных платформах (Web, iOS, Android). Решаем любые вопросы с недвижимостью, делая сложное простым, с заботой о каждом клиенте. Мы ищем единомышленников, чтобы вместе помогать людям исполнять мечту о собственном жилье.
Проект:
Мы - платформенная команда, и не занимаемся построением отчетов. Вместо этого мы разрабатываем базовый слой данных, который используется конечными потребителями.
Наш стек:
Python, PostgreSQL, Airflow, Trino, Greenplum, Clickhouse, Kafka, RabbitMQ, Go, K8s.
Чем предстоит заниматься:
- построением базового слоя витрин данных с применением SQL и Python;
- развивать и улучшать существующие продукты и сервисы;
- участвовать в проработке и реализации интеграций с другими сервисами и командами (кстати, у нас полностью микросервисная архитектура);
- обеспечивать высокое качество кода и улучшать процессы в своей команде;
- участвовать в развитии инфраструктурных решений для работы с big data.
От вас мы ожидаем:
- экспертное знание SQL;
- продвинутый уровень Python;
- навык оптимизации запросов;
- понимание особенностей работы с различными хранилищами данных: PostgreSQL, Greenplum, Clickhouse;
- владение архитектурой данных.
Будет плюсом:
- опыт работы с Airflow, Trino, Superset, k8s;
- опыт построения аналитического хранилища данных.
Мы предлагаем:
- работу в аккредитованной IT компании;
- конкурентную заработную плату;
- полис ДМС с первого месяца работы;
- современную технику для работы;
- корпоративный университет, онлайн-курсы для повышения квалификации, конференции, митапы;
- фитнес-зал в здании офиса;
- льготную программу ипотеки для сотрудников;
- комфортный офис класса А в 5 минутах от станции метро и МЦК Кутузовская;
- гибкое начало рабочего дня и возможность работать в гибридном или удаленном формате в пределах РФ.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.