
Мы ищем опытного Senior Data Engineer , способного самостоятельно закрывать задачи по оркестрации, проектированию хранилищ и обработке данных.
adviva · На сервисе с: 02.09.26 17:31
Senior Data Engineer
Мы ищем опытного Senior Data Engineer, способного самостоятельно закрывать задачи по оркестрации, проектированию хранилищ и обработке данных.
Вашей ключевой задачей станет развитие DWH/ODS, оптимизация инфраструктуры (ClickHouse, Postgres), построение батчевых и потоковых пайплайнов, а также наведение порядка в унаследованных процессах.
🎨 Чем предстоит заниматься (Обязанности):
Оркестрация и пайплайны: проектирование, разработка и поддержка batch-процессов, витрин данных и регламентных расчётов на Apache Airflow.
Аналитические витрины (ClickHouse): развитие витрин для риск-отчётности и систем принятия решений (финансовые и поведенческие метрики).
Streaming & ODS:
Построение потоковой доставки данных через Apache Kafka (near real-time).
Развитие ODS на PostgreSQL: интеграция данных с бэкенда продукта, проектирование схем, настройка инкрементальной загрузки.
Оптимизация баз данных: тюнинг производительности PostgreSQL, MySQL и ClickHouse (индексы, схемы, рефакторинг тяжёлых запросов).
Data Storage: работа с объектными хранилищами (S3 / MinIO) как слоем хранения.
Рефакторинг и ревизия: аудит, инвентаризация и наведение порядка в legacy-скриптах и DAG'ах, явное распределение зон ответственности за процессы.
Data Quality & SLA: настройка мониторинга и алертинга (надежность, полнота, свежесть витрин и выдерживание SLA).
Кросс-функциональная работа: взаимодействие с Data Science, аналитиками и backend-разработчиками (согласование контрактов данных, подготовка данных для ML-моделей).
🎯 Что для нас важно (Требования):
Языковой стек: отличное знание Python и SQL.
ETL/ELT в Production: уверенный опыт создания и поддержки пайплайнов, отличные знания Apache Airflow (обязательно).
ClickHouse: проектирование аналитических витрин и оптимизация сложных запросов на больших объемах данных.
Реляционные БД & ODS/DWH: глубокие знания PostgreSQL / MySQL, опыт оптимизации БД и построения ODS/DWH поверх операционных источников.
Senior-автономия: умение самостоятельно вести направление данных, в одиночку держать пайплайны, правильно расставлять приоритеты и доводить задачи до результата.
Архитектура: понимание принципов проектирования отказоустойчивых и масштабируемых систем.
Культурный код: привычка фиксировать правила, схемы данных, зоны ответственности и вести runbook'и.
Будет большим преимуществом:
⭐️ Опыт работы с Apache Kafka (продюсеры, потребители, схемы).
⭐️ Опыт работы с S3 / MinIO и Apache NiFi.
⭐️ Опыт миграции пайплайнов и наведения порядка в унаследованном технологическом ландшафте.
⭐️ Бэкграунд в сферах FinTech, платежах или AntiFraud.
⭐️ Навыки настройки CI/CD для дата-инженерии и подходы IaC (Infrastructure as Code).
🚀 Что мы предлагаем (Условия):
Уровень свободы: высокая автономность в принятии технических решений без микроменеджмента.
Современный стек: Airflow, ClickHouse, Kafka, PostgreSQL, S3/MinIO, Python.
Формат работы: 100% удаленка.
📩 Как откликнуться:
В сопроводительном письме, пожалуйста, укажи:
С какими объемами данных в ClickHouse / Postgres приходилось работать?
Был ли у тебя опыт самостоятельного ведения дата-инфраструктуры (в качестве единственного Data Engineer / Lead)?
Есть ли опыт работы с Kafka и финтех/риск-метриками?
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.