ID 3791 - Senior/Middle+ DQE с сильным python
Неизвестный работодатель
ID 3791 - Senior/Middle+ DQE с сильным python
🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм
🏢 Проект: Табачная компания
💡 Требования:
- Уверенное знание Python;
- Продвинутый SQL: оконные функции, CTE, оптимизация запросов, понимание различий диалектов;
- Опыт работы с PostgreSQL, Git и GitLab CI/CD;
- Работа с pytest и unittest;
- Понимание архитектуры Data Lake / Lakehouse, опыт работы с S3 и форматами Parquet/ORC;
- Базовое понимание Apache Spark или Flink;
- Опыт работы с Grafana и Prometheus;
- Умение прослеживать движение данных от источника до витрины, находить ошибки трансформаций и диагностировать их причины.
📌 Желательно:
- Опыт работы с Airflow;
- Применение Great Expectations, Deequ, Soda Core или dbt tests;
- Знание протоколов Kafka;
- Работа с Docker/Kubernetes для развёртывания тестовых окружений;
- Понимание ACID-транзакций в распределённых системах;
- Опыт работы с InfluxDB или TimescaleDB.
📋Задачи:
- Тестирование пайплайнов данных: Разработка и поддержка автотестов для ETL/ELT-процессов (Airflow DAGs, Spark/Flink джобы)
- Контроль качества данных (DQ): Внедрение и настройка правил проверки целостности, полноты, уникальности и консистентности данных на всех этапах (ODS, DWD, DWS)
- Тестирование OLAP-движков: Валидация корректности SQL-запросов и результатов вычислений в Trino, StarRocks и ClickHouse
- Стриминговое тестирование: Проверка работоспособности потоковых обработок (Kafka, Flink), включая сценарии потери сообщений, повторной доставки (at-least-once/exactly-once) и задержек
- Интеграционное тестирование: Тестирование взаимодействия компонентов Lakehouse (Iceberg, Lakekeeper, S3)
- Нагрузочное тестирование: Оценка производительности запросов и пайплайнов при больших объемах данных
- Автоматизация: Написание фреймворков для автоматизированного регрессионного тестирования данных
📨 Отклик — через форму: ••••••••
или напрямую рекрутеру @H••••••••
❗️Откликайтесь только при релевантном опыте.
❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями
❗️Повторный отклик: ID вакансии + сверка.
#QA #Удаленно #вакансия
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.