Ведущий инженер данных (Python)
Ищем DWH Engineer для команды VK Видео — одного из крупнейших и самых популярных видеосервисов в России!
vk · На сервисе с: 22.06.26 01:14
↑ Вакансия с автоподнятиемИщем DWH Engineer для команды VK Видео — одного из крупнейших и самых популярных видеосервисов в России!
Задачи
- Разрабатывать и поддерживать процессы обработки и доставки данных для аналитических и ML команд
- Собирать витрины, оптимизировать
- Писать адхоки и выгрузки, раздебаги
- Собирать требования
Требования
- Понимание работы параллельных вычислений на кластере
- Опыт с Airflow, Spark, Hadoop, ClickHouse, YT (опционально)
- Знание Python: алгосы базовые (для понимания оптимального кода), классы и прочий сложный код (для чтения исходников и создания велосипедов типа операторов/сервисов)
- Знание Git и работа с кодом в команде (ревью)
Похожие вакансии Data Engineer
Ищем Data Engineer в крупную технологическую компанию, которая разрабатывает высоконагруженные платформенные продукты для международных рынков в entertainment-индустрии.
Внутри — развитое data-направление и задачи, связанные с построением и развитием современной платформы данных. Ищем инженера, который умеет самостоятельно проектировать надежные data pipelines, уверенно работает с DWH и понимает, как устроены production-процессы работы с большими объемами данных.
Чем предстоит заниматься
— проектировать, разрабатывать и развивать data pipelines;
— работать с DWH: моделями данных, слоями, витринами и ETL/ELT-процессами;
— писать и оптимизировать сложные SQL-запросы;
— разрабатывать на Python инструменты и сервисы для работы с данными;
— поддерживать и развивать production-пайплайны;
— работать с большими объемами данных и распределенной обработкой;
— следить за качеством и надежностью данных;
— участвовать в выборе технических решений и развитии data-платформы;
— взаимодействовать с аналитиками, разработчиками и другими продуктовыми командами.
Для Senior-уровня также важен опыт самостоятельного проектирования архитектурных решений и способность брать ответственность за технический подход к задаче.
Что для нас важно
— очень хорошее знание SQL и опыт работы со сложными запросами и большими объемами данных;
— уверенный Python: не только небольшие скрипты, но и production-код, библиотеки или внутренние инструменты;
— хорошее понимание принципов построения DWH;
— опыт проектирования и разработки ETL/ELT-процессов;
— понимание моделирования данных, построения витрин и контроля качества данных;
— умение самостоятельно разбираться в задаче и предлагать техническое решение.
Желательно
— практический опыт с Airflow: разработка и поддержка DAG, scheduling, retries, backfill, monitoring;
— опыт с dbt или похожими инструментами трансформации данных;
— опыт со Spark и понимание распределенной обработки данных;
— работа с аналитическими СУБД: ClickHouse, Greenplum, Vertica или другими MPP/OLAP-системами.
Будет плюсом
— Kafka;
— Iceberg;
— Trino;
— Docker / Kubernetes;
— CI/CD;
— понимание подходов Data Mesh;
— участие в open-source или собственные технические проекты.
Условия
— full-time;
— удаленный формат работы;
— гибкое начало рабочего дня;
— корпоративная техника;
— испытательный срок 3 месяца;
— расширенный пакет бенефитов после испытательного срока: медицинская страховка, бюджет на спорт / языки / дополнительное медицинское покрытие, дополнительные оплачиваемые дни отдыха;
— внутренние технические встречи, тренинги и возможность участия в профессиональных конференциях и обучении.
Процесс
Знакомство с рекрутером → короткий технический скрининг → технические секции по SQL, DWH и Python → для кандидатов Senior-уровня дополнительная секция по архитектуре и проектированию → встреча с командой.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.