• Разработка, тестирование и оптимизация процессов сбора, предобработки, агрегации и трансформации данных из корпоративных источников и хранилищ данных (HDFS, Hive, GreenPlum, реляционные СУБД) в целевые аналитические витрины.
Неизвестный работодатель · На сервисе с: 21.09.26 11:39
Задачи на проекте
В состав оказываемых услуг входит:
• Разработка, тестирование и оптимизация процессов сбора, предобработки, агрегации и трансформации данных из корпоративных источников и хранилищ данных (HDFS, Hive, GreenPlum, реляционные СУБД) в целевые аналитические витрины.
• Создание, настройка и мониторинг регулярных пайплайнов поставки данных в Apache Airflow для регламентного расчета признаков абонентов (профили фактического потребления интернет- и голосового трафика, начисления, ARPU за 6 месяцев, параметры подключенных услуг, тарифных планов и др.).
• Разработка и оптимизация Spark-приложений на Scala для пакетной обработки массивов данных, векторизации исходных параметров абонентов и подготовки фичей для передачи в ML-модель движка подбора.
• Реализация архитектуры и процессов контура обратной связи (feedback loop) для рекомендательной системы: сбор, валидация и передача в ML-модель информации о фактическом отклике абонентов (какое тарифное предложение было выбрано, отклонено, оформлено) для последующего дообучения и оценки точности рекомендаций.
• Организация и поддержка интеграционного взаимодействия со смежными сервисами, микросервисами платформы и эндпоинтами через API, обеспечение отказоустойчивости, логирования, контроля таймаутов и мониторинга качества доставки данных.
• Оптимизация производительности (проектирование схем партиционирования, профилирование планов выполнения, эффективное управление памятью и ресурсами кластера).
• Покрытие разрабатываемого кода тестами, обеспечение чистоты кодовой базы, документирование структуры витрин (DDL, Data Dictionary) и ETL-процессов в Confluence.
Этапы отбора
1 интервью со Skillstaff (Для подтверждения описанных требований)
1 интервью с прямым заказчиком (финальное).
Описание проекта и команды
Компания: Крупный российский телеком-оператор, аккредитованная ИТ-компания.
Проект: Оказание услуг по проектированию, разработке и отладки процессов подготовки витрин данных и ETL-процессов их расчетов, формированию технического ландшафта векторизации параметров абонентов для ML-модели рекомендательной системы подбора тарифов, а также разработке и сопровождению контура обратной связи с ML-моделью.
Команда:
- Вся деятельность команды в рамках производства происходит в Jira
- Артефакты работы (код, аналитика, архитектура и тд) должны быть размещены в системах (Gitlab, Confluence)
- Нельзя использовать внешние (развернутые вне контура заказчика) модели, в частности LLM
Обязательные условия выхода на проект
Гарантированный период: с •••••••• по ••••••••
Решение о размещении заказов на период по ••••••••(поквартально или помесячно) будет приниматься дополнительно.
Отсрочка оплаты - 60 кал. дней
❗️❗️❗️Писать ••••••••⚡️⚡️⚡️⚡️ С РЕЗЮМЕ В КОТОРОМ УКАЗАН ВОЗРАСТ И ЛОКАЦИЯ НАХОЖДЕНИЯ. Укажите 🆔 вакансии❗️ Без этой информации отклики не рассматриваются ❗️❗️
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.