Data Engineer (Python)

Мы ищем талантливого Data Engineer , который готов столкнуться с непростыми задачами в области хранения и обработки больших данных в масштабах петабайт!

↑ Вакансия с автоподнятием
Зарплата не указанаРоссияМоскваГибрид

Всем привет!
Мы ищем талантливого Data Engineer, который готов столкнуться с непростыми задачами в области хранения и обработки больших данных в масштабах петабайт!
У вас будет уникальная возможность поучаствовать в развитии платформы данных для работы с телеметрией автономного транспорта Москвы - трамваев и метро, в том числе: в разработке архитектуры DWH, подключении новых сервисов, повышении производительности и стабильности работы платфонмы.

Что предстоит делать:
- Превращать телеметрию автономного транспорта в данные, удобные для анализа: разрабатывать и запускать Spark-пайплайны, продумывать преобразования и проверки качества
- Подключать новые источники данных: разрабатывать интеграции с различными системами и обеспечивать надёжную загрузку данных в хранилище
- Развивать архитектуру Data Lake / DWH
- Вместе с командой формировать общие подходы к разработке, мониторингу и сопровождению пайплайнов

Что ожидаем:
- Практический опыт разработки и сопровождения пайплайнов данных
- Опыт работы с PySpark, Python и SQL
- Опыт работы с Data Lake / DWH и понимание принципов построения ETL/ELT-процессов
- Понимание принципов распределённой обработки данных

Будет плюсом:
- Опыт работы с Trino+S3
- Опыт оркестрации пайплайнов с помощью Airflow
- Знакомство с Data Vault 2.0
- Знание Scala и опыт её использования для обработки данных
- Опыт развития платформы данных на ранних этапах: от выбора решений до их внедрения и сопровождения

Контакт для связи:
••••••••

Эта вакансия также есть на:hh.ru

Похожие вакансии Data Engineer

Соц.сети

Middle Data Engineer — Snowflake / dbt / Azure

Неизвестный работодатель
600–800 $ (≈ 49k–66k ₽)УзбекистанУдалёнка

#middle #dataengineer #snowflake
Middle Data Engineer — Snowflake / dbt / Azure

We are looking for a Middle Data Engineer with strong Snowflake, SQL and dbt skills to build and support production data pipelines.

Salary: $600 – $800 (Net) + performance-based bonus
Format: Remote

Core Requirements
• 2+ years of data engineering experience
• Hands-on experience with Snowflake: streams, Time Travel, data sharing, and standard, transient, hybrid and Iceberg tables
• Advanced SQL skills (live coding in Snowflake is part of the interview)
• Experience with dbt: macros shared across projects, pre- and post-hooks, SCD Type 2
• Experience with Azure Data Factory or Azure Synapse Pipelines, including self-hosted integration runtimes
• Python and PySpark
• Git and pull-request workflows, code review and automated testing

Nice to Have
• Azure Function Apps and Logic Apps
• Microsoft Defender for scanning incoming files
• Databricks
• Orchestration tools (e.g. Airflow)

What You’ll Work On
• Hourly ingestion from SQL Server and 24/7 OLTP systems
• Ingesting files from customer NAS shares and APIs into Azure Blob Storage
• Building and maintaining dbt models in Snowflake
• Handling production issues: schema changes, failed hooks, missing files and jobs that fail halfway

What We Offer
• Fully remote work
• Performance-based bonus
• Professional growth opportunities

Hiring Process
1. Online coding assessment
2. Technical interview
3. Final discussion with the manager

AI tools and outside help are not allowed during interviews. Sessions are recorded.

Ready to apply? ••••••••

👉 ••••••••

Соц.сети

Data Engineer

Неизвестный работодатель
170k–190k ₽РоссияУдалёнка

Data Engineer
Длительность: долгосрок
Вилка: 170-190
Формат работы: удаленный
Локация, гражданство РФ

Проектирование и разработка пайплайнов обработки данных, поддержка и развитие DWH/ETL-процессов, рефакторинг кода, аналитика и миграция источников данных в отчетности.

Требования:
Общий опыт коммерческой разработки от 3 лет.
MSSQL: уверенное владение (T-SQL, оптимизация запросов, хранимые процедуры).
Python: от 2 лет.
Airflow: от 1 года (построение и сопровождение DAG, планирование, мониторинг).
Понимание принципов построения ETL/ELT-пайплайнов, работы с большими объемами данных, обеспечения отказоустойчивости и идемпотентности загрузок.
Git, уверенное владение SQL.
Опыт проектирования и разработки пайплайнов данных с нуля, участие в архитектурных решениях.
Опыт рефакторинга существующего кода, оптимизации производительности запросов, повышения отказоустойчивости.
Умение разбираться в чужом коде, самостоятельная проработка технических решений, декомпозиция сложных задач.
Опыт работы с инцидентами.
Опыт аналитических задач по изменению источников данных в отчетности (переключение с одной мастер-системы на другую), сверка данных, валидация результатов миграции.

Будет плюсом:
Опыт работы в e-com.

Системы учета задач и документации:
Jira, Confluence, GitLab.

🍂Резюме нужно прислать сегодня
В резюме должен быть отражен опыт, указанный в вакансии

••••••••

Сайты компаний
Зарплата не указанаРоссияМосква

Привет! Это команда разработки операционной аналитики.
Наша логистика доставляет миллионы товаров в сутки. Чтобы делать это быстро и качественно, всем точкам нашей сети доставки важно получать оперативную и качественную аналитику.

Задача нашей команды – предоставлять real-time и около real-time аналитику для тысяч наших пользователей на сортировочных центрах, расположенных по всей стране, оперируя терабайтами данных, получаемых от множества внутренних систем.

Наш стек

  • ClickHouse, Kafka, Airflow, Grafana, Superset, GitLab.

Вы будете

  • Создавать real-time отчетность для сортировочных центров и различных команд в логистике.

  • Настраивать интеграцию данных с другими базами данных и сервисами.

  • Разрабатывать новые схемы хранения данных и подходы к их обработке, участвовать в оптимизации имеющихся схем.

  • Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы.

  • Развивать внутренний инструментарий команды.

Нам важно

  • Опыт работы с обработкой больших данных и колоночными СУБД.

  • Продвинутое знание SQL.

  • Опыт разработки на Python.

  • Опыт в оптимизации производительности запросов и ETL процессов.

  • Уверенный технический бэкграунд (вы представляете себе, что такое контейнеры, K8s, Kafka, CI/CD и т. д).

Будет плюсом

  • Опыт работы с ClickHouse.

  • Опыт работы с Airflow.

  • Опыт работы с Prometheus.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.