Senior BI Analyst/Developer (Python)

Привет! На связи ggsel 💚

Мы ищем Head of DWH - лидера, который сочетает глубокую техническую экспертизу в DWH/ClickHouse, архитектурное мышление и управленческие навыки.

Стек: ClickHouse, SQL, Python, Airflow, dbt, PostgreSQL, Docker, Git.

✅ Ключевые требования и задачи

- ClickHouse - основная экспертиза: проектирование MergeTree, партиционирование, TTL, оптимизация запросов, шардирование/репликация, бэкапы в S3.

- ETL/ELT и оркестрация: Airflow, dbt, data quality, тесты, мониторинг свежести данных, data contracts.

- Управление командой: найм, онбординг, развитие, performance review, процессы разработки, roadmap, OKR, бюджет.

- Бизнес и Data Governance: сбор требований, приоритизация, коммуникация с C-level, каталог данных, lineage, GDPR/152-ФЗ, разграничение доступа.

✅ Условия

- Удаленная работа из любой точки мира.

- Конкурентная зарплата + performance премия 2 раза в год.

- Гибкий график и фокус на результат.

- Оплата обучения, курсов и конференций.

- Возможность реально влиять на продукт и команду.

Узнать подробности и оставить отклик можно на нашем корпоративном портале

➡️ https://lnkd.in/euePmH7n

Основные обязанности:

• Архитектурное проектирование БД: Разработка концептуальной, логической и физической моделей данных единого хранилища. Проектирование топологии таблиц, схем данных и связей между ними. Оптимизация хранилищ данных, оптимизация производительности базы данных при тяжелых еженедельных инкрементальных загрузках;
• Разработка и поддержка ETL/ELT пайплайнов: Написание надежных скриптов на Python для еженедельной выгрузки данных из 10 сторонних API, обработки JSON/XML-ответов и обработки ошибок связи;

• Оркестрация процессов: Настройка, мониторинг и поддержка расписания запусков пайплайнов;
• Разработка логики повторных запусков и системы оповещений при сбоях API;
• Интеграция справочников и НСИ: Техническое подключение, версионирование и синхронизация мастер-справочников, словарей и классификаторов в единой БД;
• Реализация алгоритмов маппинга (в т.ч. нечеткого поиска) совместно с аналитиками;
• Обеспечение качества данных: Внедрение автоматических проверок (DQ-тестов) на этапе загрузки совместно с DQ-аналитиком (валидация типов, проверка на пустые значения, дубликаты, бизнес-логику);
• Подготовка витрин данных для отгрузки клиентам.

Требования:

• Экспертный SQL (MS SQL, PostgreSQL): Глубокое понимание архитектуры MS SQL (PostgreSQL будет преимуществом). Написание сложных запросов, CTE, оконных функций. Опыт оптимизации запросов, настройки индексов и чтения планов выполнения (EXPLAIN);
• Уверенный Python: Опыт коммерческой разработки на Python от 2–3 лет. Отличное знание библиотек для обработки данных (pandas, numpy) и работы с БД/API (requests, httpx, SQLAlchemy);
• Опыт работы с оркестраторами: Практический опыт настройки пайплайнов в Apache Airflow (предпочтительно), Prefect или аналогичных инструментах;
• Работа с API: Понимание принципов работы REST API, веб-хуков, обработки механизмов авторизации (OAuth, API-ключи, токены) и лимитов на запросы;
• Инженерная культура: Уверенное владение Git (ветвление, Pull Request), понимание принципов CI/CD, опыт контейнеризации приложений (Docker).

• Официальное трудоустройство со стабильной заработной платой, сумма которой обсуждается с финальным кандидатом;
• ДМС после года работы;
• График работы 5/2, с возможностью работать в гибридном формате;
• Современный офис и дружная команда профессионалов;
• Интересные задачи и возможность профессионального роста.