#вакансия #астана #оффлайн #workITkz #python, #backend
Должность: senior data engineer
Компания: АО ""НИТ""
••••••••
Город: Астана
Занятость: оффлайн
Оплата: ••••••••
Оператор информационно-коммуникационной инфраструктуры
«электронного правительства» Республики Казахстан
Описание вакансии:
Практический опыт эксплуатации Apache Airflow, Spark (PySpark),ClickHouse и PostgreSQL в промышленной среде.
Знание Trino и Apache Iceberg будет преимуществом.
Уверенное владение Python и продвинутый уровень SQL, включая индексацию и анализ планов выполнения запросов.
Опыт работы в области Data Engineering от 3 лет, включая разработку сквозных конвейеров обработки данных и аналитических витрин.Уверенный опыт работы с dbt для трансформации, тестирования и моделирования данных.
Проектирование, разработка и сопровождение ETL/ELT-процессов с использованием Python и Apache Airflow.
Разработка распределённых процессов пакетной обработки данных с использованием Apache Spark (PySpark), Trino и Apache Iceberg.
Проектирование, построение и оптимизация аналитических витрин данных в ClickHouse и PostgreSQL с использованием dbt.
Организация загрузки данных из реляционных баз данных, брокеров сообщений и внешних REST API.
Анализ и оптимизация производительности SQL-запросов, партиционирования таблиц и хранения данных.
Внедрение автоматизированных проверок качества данных, механизмов оповещения и процессов CI/CD для развертывания решений.
Официальное трудоустройство
Ежегодный трудовой отпуск + 2 оклада
Профессиональный рост и развитие
Участие в архитектурных решениях
График работы: 5/2, с 08:00 до 17:30
Место работы: г. Астана, EXPO C2.3
Контакты:
Telegram ••••••••
Whatsapp ••••••••