Data Engineer (Python)
Определять и развивать целевую архитектуру платформы данных и ключевых доменных моделей;
Зарплата не указанаРоссияМоскваГибрид
Чем предстоит заниматься?
- Определять и развивать целевую архитектуру платформы данных и ключевых доменных моделей;
- Проектировать и реализовывать критичные пайплайны и хранилища, обеспечивая надёжность, производительность и масштабируемость;
- Вводить и поддерживать стандарты качества данных, схем, версионирования, мониторинга и алёртинга;
- Проводить архитектурные ревью, дизайн-сессии, помогать команде в декомпозиции и решении сложных задач;
- Оптимизировать существующие решения: хранение, запросы, пайплайны, снижать стоимость и повышать SLA;
- Проводить capacity planning и нагрузочное тестирование платформы, определять узкие места и планировать масштабирование вычислительных, сетевых и storage-ресурсов;
- Проектировать отказоустойчивость и disaster recovery платформы: репликацию, резервное копирование, восстановление, RPO/RTO и сценарии отказа отдельных компонентов и кластеров.
Мы ожидаем, что вы:
- Имеете высокий уровень владения Python, SQL, Airflow, dbt;
- Имеете опыт построения систем с HA/DR: отказоустойчивость, disaster recovery, backup/restore, RPO/RTO, multi-AZ/кластерные конфигурации;
- Имеете глубокое знание ClickHouse и его архитектуры, а так же методов оптимизации хранения/скорости доступа к данным: шардирование, репликация, Distributed-таблицы, ClickHouse Keeper, MergeTree-семейство, партиционирование, TTL, materialized views, projections, работа с S3, tiered storage, ORDER BY/primary key, индексы, JOIN, агрегации и т.п.;
- Имеете глубокое понимание архитектуры распределённых систем: CAP, репликация, консистентность, отказоустойчивость, идемпотентность;
- Имеете опыт построения высоконагруженных ingestion-пайплайнов, включая SLA на каждом этапе: ingestion → storage → transformation → serving → BI/ML. Kafka/очереди сообщений, batch и streaming ingestion, consumer groups, backpressure, retries, deduplication, ordering, schema evolution;
- Имеете опыт построения data platform / lakehouse / DWH: raw/bronze → silver → gold, медальонная модель, витрины, семантический слой, object storage;
- Обладаете навыками оптимизации стоимости хранения и обработки: hot/warm/cold storage, TTL, S3, compression, retention policies, pre-aggregation;
- Знаете Metabase (будет дополнительным плюсом).
Почему вам понравится работать у нас?
- Сильная команда, амбициозные задачи и продукты, которыми пользуются миллионы;
- Новый офис SberDevices в центре Москвы;
- Удобный формат работы с возможностью гибкого начала рабочего дня;
- Надёжная программа ДМС и НС с первого месяца работы;
- Обучение и развитие: курсы и тренинги от корпоративного университета, внешнее обучение за счёт компании и участие в конференциях;
- Льготная ипотека и корпоративная пенсионная программа;
- СберКлуб: cкидки от партнёров, повышенные бонусы, акции экосистемы, подписка СберПрайм+.
Похожие вакансии Data Engineer
hh.ru
Зарплата не указанаУзбекистанТашкентОфис
О команде:
Команда Data Engineering занимается развитием и поддержкой корпоративного хранилища данных (DWH) для основных продуктов компании: платежной системы, маркетплейса и сервиса рассрочки. Наша задача — обеспечить компанию надёжными и актуальными данными для внутренней аналитики и реализации требований регулятора (RegTech). Сейчас команда развивает архитектуру хранилища данных, переходит на ELT-подход и стандартизирует технологический стек на базе ClickHouse, dbt, Apache Airflow и Kafka Connect. Мы также совершенствуем инженерные практики, уделяя особое внимание надёжности, качеству данных и автоматизации процессов.
Чем вы будете заниматься:
- Поддерживать и развивать дата-пайплайны: сопровождать существующие batch- и near-real-time потоки из микросервисов (PostgreSQL, MySQL, API), рефакторить legacy-процессы и переносить вычисления из Python/Pandas в SQL.
- Оптимизировать стек данных: настраивать ClickHouse, Kafka Connect и CDC (Debezium, DLQ, Schema Registry), оптимизировать Airflow DAG-и и управление параллелизмом.
- Развивать DWH и внедрять dbt: переносить бизнес-логику и витрины в dbt, использовать Jinja и макросы, развивать архитектуру Bronze / Silver / Gold.
- Обеспечивать качество данных: автоматизировать DQ-проверки, сверять данные с источниками, настраивать мониторинг и алертинг, выстраивать Data Lineage.
- Автоматизировать инфраструктуру и CI/CD: управлять конфигурациями пайплайнов, DDL-миграциями и доступами через код; развивать процессы на базе GitLab CI, werf, Docker и Kubernetes.
- Использовать AI-инструменты: ускорять работу с legacy-кодом, генерацию тестов, оптимизацию SQL-запросов и подготовку документации с помощью Cursor, Copilot, ChatGPT и Claude.
Чего мы ожидаем от вас:
- SQL: уверенное владение SQL, умение писать сложные аналитические запросы, понимание принципов оптимизации;
- Python: хороший уровень (requests, работа с API, базовый Pandas), умение писать чистый, поддерживаемый код;
- Airflow: опыт написания DAG-ов, понимание базовых принципов работы шедулера, операторов, хуков;
- Архитектура DWH: понимание концепций построения хранилища и моделей данных; идеологии ELT vs ETL, OLAP vs OLTP;
- Инфраструктура: базовое понимание контейнеризации (Docker / Kubernetes), уверенная работа с Git;
- Уверенное использование AI-инструментов: активное применение в ежедневной работе (ChatGPT, Claude, Cursor, GitHub Copilot или аналоги) для ускорения написания рутинного кода, помощи в рефакторинге, генерации SQL/документации и быстрого онбординга в новую кодовую базу.
Будет большим плюсом:
- Опыт работы с ClickHouse в продакшене (знание особенностей MergeTree движков, партиционирования);
- Практический опыт работы с dbt (Data Build Tool);
- Понимание принципов работы брокеров сообщений (Kafka) и CDC-инструментов (Debezium);
- Опыт деплоя приложений в Kubernetes (Gitlab / Github CI).
Почему вам будет интересно с нами:
- Работа в продуктовой финтех-компании;
- Современная архитектура и сложные инженерные задачи;
- Профессиональная команда, взаимная поддержка и обмен опытом;
- Возможность карьерного роста;
- Культура, открытая к новым идеям и улучшениям процессов;
- Выстроенная адаптация с сопровождением HR, тимлида и ментора;
- Уроки английского с носителями языка;
- Компенсация обучения (постоянный доступ к корпоративным материалам, специализированные курсы, внутренние митапы);
- Насыщенная корпоративная жизнь;
- Добровольная медицинская страховка;
- Офис в центре города в Tashkent - City;
- График 5/2 с 9:00 до 18:00;
- Конкурентная заработная плата (обсуждается по итогам собеседования).
О компании:
Alif — одна из крупнейших и самых быстрорастущих финтех-компаний Центральной Азии с проектами в Узбекистане, Таджикистане и Пакистане. Компания была основана в 2014 году Абдулло Курбановым, Фирдавсом Мирзоевым и Зухуршо Рахматуллоевым.
Наши достижения:
- Alif - одна из самых динамичных и дорогих финтех-компаний региона, оценённая более чем в $100 млн.
- В Узбекистане компания работает с 2019 года и за это время стала одним из лидеров рынка.
- Общая аудитория пользователей превысила 9 миллионов человек.
- Сегодня команда Alif насчитывает более 300 квалифицированных специалистов, которые создают и развивают полноценную финтех-экосистему.
- Компания является резидентом IT-Park с 2019 года и активно расширяет своё присутствие на рынке.
- Alif занимает передовые позиции на рынке BNPL-решений и продолжает уверенно развиваться.
Мы в Alif, обеспечиваем равные возможности, и приветствуем заявки от всех квалифицированных лиц, включая людей с ограниченными возможностями, ветеранов и людей из разных слоёв общества.
hh.ru
Зарплата не указанаРоссияМоскваГибрид
Присоединяйся к команде крупнейшего пищевого производителя с известными брендами! Работа в АО МПБК Очаково это ценность каждого сотрудника и стабильный заработок!
Ключевые задачи:
· Проектирование и развитие архитектуры корпоративного хранилища данных (DWH) на стеке Microsoft: MS SQL Server, SSAS (табличные/многомерные кубы), Power BI.
· Построение ETL/ELT-пайплайнов, обеспечение надежности и качества данных.
· Формирование семантического слоя (витрины данных) для BI-отчетности и аналитики.
· Управление командой из 2–3 человек (инженер данных + BI-разработчик), распределение задач, контроль качества, наставничество.
· Выстраивание процессов разработки: контроль версий (Git), документация, регламенты, Data Governance.
· Взаимодействие с бизнес-заказчиками и аналитическим отделом: перевод бизнес-требований в технические решения.
· Участие в стратегических проектах, включая перспективное внедрение корпоративных AI-агентов (локальные LLM, RAG-архитектуры).
Обязательные требования:
· Опыт работы с данными (DWH/Data Lake) от 5 лет.
· Опыт управления командой от 3 человек.
· Экспертный SQL (оптимизация запросов, работа с терабайтными объемами).
· Глубокое знание стека Microsoft: MS SQL Server, SSAS (разработка моделей), Power BI.
· Понимание методологий построения DWH: Kimball / Inmon / Data Vault 2.0.
· Опыт интеграции данных из различных источников: ERP, CRM, API, CDC.
· Умение переводить требования бизнеса в технические решения и обратно.
· Навыки управления бэклогом разработки и ведения проектов.
Будет преимуществом:
· Опыт работы с Airflow / dbt / Python.
· Понимание Data Governance / DataOps практик.
· Опыт работы с облачными DWH (Snowflake/BigQuery/Redshift).
· Знание основ ML/AI: как работают модели, RAG, агенты, MCP.
· Опыт миграции или модернизации DWH.
Нужна уверенность в завтрашнем дне? Работай с нами!
Спасибо за отклик! Если ваше резюме соответствует вакансии, мы свяжемся с вами в ближайшее время.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.