Data Engineer/Инженер данных (Python)
💻 Ищем в команду Data Engineer/ Инженер данных
Неизвестный работодатель На сервисе с: 05.10.26 14:21
#вакансия #DataEngineer #беттинг
💻 Ищем в команду Data Engineer/ Инженер данных
📍 Москва |Высоконагруженный продукт в сфере беттинга.
ВАЖНО: График: на испыт. сроке офис 5/2, далее гибрид
Оформление: трудоустройство по ТК РФ, зарплата полностью белая.
🔵Обязанности:
- реализация в тандеме с архитектором физического уровня архитектуры данных в DWH для всех слоев (raw data layer, core data layer, data mart layer);
- реализация ETL-пайплайнов передачи данных из различных внутренних и внешних ИТ-систем, используя разные подходы получения данных из источника;
- построение эффективной системы оркестрации ETL-пайплайнов обеспечивающей обновление данных в DWH согласно обозначенным бизнес требованиям;
- реализация и поддержка прикладных решений для контроля качества данных в DWH;
- реализация и поддержка прикладных решений для управления метаданными DWH;
- участие в R&D для выбора инструментов для построение отдельных частей платформы данных.
🔵 Требования:
- опыт работы от 3х лет;
- понимание концепций проектирования DWH;
- продвинутый уровень знания SQL;
- высокий уровень владения Python для обработки данных;
- опыт работы с оркестраторами и понимание концепции DAG;
- опыт разработки и поддержки end-to-end пайплайнов данных;
- опыт получения данных из различных типов API;
- опыт работы с потоковой обработкой данных;
- умение работать с GIT.
За подробностями: ••••••••
P.S. Если вакансия вас заинтересовала, то присылайте резюме в личные сообщения 📄
Похожие вакансии Data Engineer
Компания Zolla – крупная федеральная сеть магазинов мужской и женской одежды в связи с расширением отдела ищет себе в команду Data Engineer/Дата-инженера.
ЗАДАЧИ, КОТОРЫЕ ПРЕДСТОИТ РЕШАТЬ:
- Разработка и поддержка ETL/ELT-пайплайнов для выгрузки данных из API внешних площадок (маркетплейсы, сервисы погоды, и прочие сервисы) в хранилище (MSSQL, PostgreSQL, ClickHouse);
- Оркестрация процессов с помощью Apache Airflow: миграция существующих cron-скриптов в управляемые DAG-и, настройка зависимостей, мониторинг и перезапуск процессов;
- Оптимизация производительности SQL-запросов и хранимых процедур: настройка индексов, партиционирование, анализ планов выполнения;
- Поддержка и в будущем миграция OLAP-кубов на базе Microsoft Analysis Services (SSAS Tabular) в DWH хранилище;
- Подготовка витрин данных для аналитиков и BI-систем: проектирование схем, наполнение данными, контроль качества;
- Настройка и сопровождение инфраструктуры для аналитиков: Jupyter Notebook/JupyterHub, обеспечение быстрого доступа к данным;
- Мониторинг состояния пайплайнов и отправка уведомлений (в различные каналы) о статусе выполнения задач.
НАШИ ОЖИДАНИЯ:
- Высшее, неоконченное высшее образование;
- Опыт коммерческой разработки ETL-процессов от 2-х лет;
- Уверенное знание SQL (сложные запросы с оконными функциями, CTE, оптимизация, хранимые процедуры, триггеры);
- Опыт работы с реляционными СУБД: MSSQL, PostgreSQL (администрирование на уровне запросов, настройка производительности);
- Практический опыт разработки на Python: написание ETL-скриптов с использованием pandas, SQLAlchemy, requests; интеграция с REST API;
- Опыт оркестрации процессов: Apache Airflow (понимание архитектуры DAG, Operators, Scheduler, настройка подключений);
- Навыки работы с BI-инструментами на уровне подключения и оптимизации датасетов (Yandex DataLens: подключение к БД, создание датасетов, оптимизация производительности запросов);
- Понимание жизненного цикла данных, принципов построения DWH (схемы «звезда», «снежинка», медленно меняющиеся измерения);
- Опыт работы с Git (GitLab) и командной разработкой (Code Review, CI/CD);
- Ответственность, проактивность, умение работать как самостоятельно, так и в команде с аналитиками и разработчиками.
Будет плюсом
-
Опыт работы с ClickHouse (знание движков таблиц, оптимизация запросов, распределённые таблицы);
-
Опыт администрирования JupyterHub в Docker-контейнерах;
-
Опыт работы с NoSQL-базами (MongoDB);
-
Понимание архитектуры потоковой обработки данных (Kafka, RabbitMQ).
МЫ ПРЕДЛАГАЕМ:
- Работу удаленно или в комфортабельном и уютном офисе в БЦ Кунцево Плаза в 5 минутах пешком от м. Молодежная;
- График работы 5/2 (гибкое начало рабочего дня);
- Оформление в соответствии с ТК РФ, официальную заработную плату (выплата 2 раза в месяц), оплачиваемый больничный лист, оплачиваемый отпуск 28 календарных дней;
- ДМС включая стоматологию (условия в зависимости от стажа работы);
- Дисконтную карту на продукцию компании, участие в распродажах в офисе;
- Корпоративные скидки на фитнес;
- Реальные перспективы профессионального и карьерного роста;
- А еще уютные лаундж-зоны, технологичные переговорные, просторные кухни и вкусный капучино.
Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.
Мы разрабатываем и обеспечиваем данными «Цифровой Двойник» города Москвы — информационную систему для архитектурной визуализации, BIM, CIM и геоинформационного обеспечения, позволяющую правительству Москвы своевременно принимать управленческие решения в области градостроительства.
Что нужно делать:
-
проектирование, разработка и поддержка решений для хранения и обработки больших данных
-
построение ETL-процессов поставки данных из внутренних и внешних источников
-
сопровождение, поддержка и оптимизация разработанных пайплайнов
-
разрабатывать логику для витрин данных, внедрять модели на больших данных
-
создание и развитие процессов управления данными и их качеством
Какие знания и навыки важны:
- продвинутые знания SQL: умение разбираться в сложных запросах, знать как их анализировать и оптимизировать
- опыт работы с базами данных PostgreSQL, Greenplum, Clickhouse, Hive
- опыт работы с Airflow и NiFi
- опыт разработки в экосистеме Hadoop
- знания фреймворка Spark, опыт оптимизации запросов
- знание и опыт разработки на Python
- навыки разработки технической документации будет плюсом
Что предлагаем:
- официальное трудоустройство в аккредитованную ИТ-компанию
- график работы 5/2, офис в 3 минутах от станции метро Курская
- ежегодное премирование по результатам работы
- материальную помощь в случае важных событий в жизни
- корпоративное обучение и доступ к онлайн-библиотеке
- скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.
-
корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие
Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.