Data Engineer
облако_ру · 5 дней назад
Data Engineer
#удаленка
Компания: Облако.ру
🔹Обязанности
-Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности;
-Нормализация и обогащение событий безопасности;
-Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги);
-Подготовка витрин данных под быстрые запросы и аналитику;
-Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование;
-Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill);
-Участие в разборе инцидентов и оптимизации производительности data платформы.
🔹Требования
-Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в production среде;
-Уверенный SQL, включая оптимизацию запросов и анализ производительности;
-Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги);
-Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок);
-Опыт проектирования и оптимизации витрин и схем хранения данных;
-Уверенные знания Kubernetes и опыт эксплуатации сервисов в production среде;
-Понимание принципов надежности, масштабирования и наблюдаемости data систем.
Откликнуться