Go-разработчик (Python, Java)
Мы — команда разработки OneDWH, единого DWH для всей компании. Он приходит на смену разрозненным решениям, которые команды строили каждая под себя: вместо множества обособленных хранилищ — одно общее. Данные живут в кластерах YTsaurus. В з…
vk · На сервисе с: 10.09.26 13:14
- Data Catalog — каталог, в котором поставщики данных публикуют метаинформацию о своих таблицах и зависимостях между ними. Благодаря этому можно проследить всю цепочку — от сырых логов до готовых витрин
- ETL-фреймворк — таблицы и работающие с ними процессы (YQL, Python и Spark) описаны декларативно в отдельном репозитории. У фреймворка собственный оркестратор и движок динамического распределения ETL между кластерами — это сокращает time-to-market поставок и оптимизирует потребление ресурсов. Также мы обеспечиваем доступность критичных данных даже при даунтайме одного из кластеров YTsaurus
- Data Quality (DQ) — следим за соблюдением сроков поставок критичных данных и уведомляем пользователей об их срывах. Развиваем проверки качества данных
Задачи
- Развивать платформу DWH как продукт
- Делать удобные инструменты для дата-инженеров: поиск данных, заведение и сопровождение ETL
- Делать удобные инструменты для аналитиков, которые работают с данными в OneDWH
- Работать с графами зависимостей ETL-процессов: планирование выполнения, динамическое распределение по кластерам, оптимизация
- Строить отказоустойчивые решения для критичных данных
Требования
- Опыт разработки сервисов на Go
- Уверенное владение PostgreSQL
- Опыт работы с Kafka
- Хорошее знание алгоритмов и структур данных, особенно графовых
Будет плюсом
- Знакомство с Java, Python, Spark или YTsaurus
- Опыт в области DWH, ETL или дата-инженерии
- Опыт работы с Airflow
- Опыт работы с CI, CD-пайплайнами в GitLab или другой системе
- Желание тесно работать с дата-инженерами и аналитиками: вникать в их задачи и делать продукты, которые упрощают им жизнь
Похожие вакансии Go
Немного о проекте:
Гарда DSPM – система аудита и управления безопасностью данных в инфраструктуре заказчика.
Основные задачи: непрерывное обнаружение и инвентаризация чувствительных данных в инфраструктуре заказчика, автоматическая классификация (персональные данные, коммерческая, государственная тайна), оценка доступов, расчет рисков, построение единой карты активов с рекомендациями по устранению наиболее критичных рисков.
Чем предстоит заниматься:
- участвовать во всех этапах разработки: проектирование, реализация, ревью и стабилизация;
- проводить качественное ревью кода коллег анализируя полноту реализации и соответствие ее требованиям задачи;
- проводить рефакторинг уже имеющихся подсистем.
На Go мы ведем разработку сервисных модулей системы, осуществляющих обработку данных, управление задачами, двунаправленная коммуникация со сторонними продуктами внутри компании и внешними системами. Мы работаем по Agile в кросс-функциональных scrum командах. Код в Gitlab, задачи в Jira.
-
понимание процесса промышленной разработки и мышление целями бизнеса;
-
активная жизненная позиция, высокий уровень самоорганизации;
-
английский на уровне чтения технической документации;
-
опыт работы по Scrum;
-
опыт разработки продуктов на языке Go от 3 лет;
-
понимание основ микросервисной архитектуры;
-
опыт разработки REST и gRPC сервисов;
-
знание основных структур данных, алгоритмов, паттернов проектирования;
-
опыт разработки многопоточных систем, понимание проблемы синхронизации и механизмов ее решения.
-
умение работать с docker, kubernetes;
-
опыт работы с брокерами и кешами: Kafka, NATS, RabbitMQ, Redis, ELK;
-
опыт проектирования и/или разработки систем требовательных к производительности;
-
опыт отладки сценариев с высокой нагрузкой / большим объемом данных.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.