ареал

Ведущий инженер данных

Совместно с функциональными заказчиками выявлять и формулировать задачи оптимизации процессов , оценивать потенциал эффекта.

ареал

Зарплата не указанаРоссияМоскваОфис
Задачи:
  • Совместно с функциональными заказчиками выявлять и формулировать задачи оптимизации процессов , оценивать потенциал эффекта.
  • Ставить бизнес-задачу, формировать функциональные и технические требования, критерии успеха пилота и методику подтверждения эффекта.
  • Изучать технологические регламенты и ограничения оборудования, учитывать требования промышленной безопасности.
  • Собирать и анализировать технологические данные (АСУ ТП, ЛИМС, MES, архивы): качество данных, аномалии, проверка гипотез. Разрабатывать прогнозные модели, виртуальные анализаторы (soft sensors), модели диагностики и обнаружения аномалий, цифровые двойники узлов.
  • Разрабатывать рекомендательные системы (советчики оператора): оптимизационная постановка, целевые функции, ограничения, объяснимость рекомендаций.
  • Проводить пилоты на установке (базовая линия, A/B-испытания), подтверждать экономический эффект.
  • Совместно с архитектором ИИ выводить решения в эксплуатацию (интеграция с АСУ ТП/MES, интерфейсы операторов, мониторинг, переобучение).
  • Тиражировать решения на предприятия; обеспечивать приживаемость (обучение операторов, обратная связь); поддержка от 2-го уровня.
  • Ставить задачи проектной команде, проводить ревью моделей и кода; вести документацию; регистрировать РИД.
Наши ожидания:
  • Образование: высшее техническое, горное или математическое.
  • Дополнительное образование в области Data Science / машинного обучения приветствуется.
  • Методы ML (бустинг, нейронные сети, временные ряды), рекомендательные системы, оптимизация с ограничениями, MPC / APC, объяснимость (SHAP).
  • Статистика: проверка гипотез, ANOVA, DOE, SPC; методика подтверждения эффекта (базовая линия, A/B).
  • Понимание технологических процессов добычи и обогащения минерального сырья, химических процессов, устройства типичного производства и его ИТ-ландшафта (АСУ ТП, MES, ЛИМС).
  • Понимание процессов закупок, продаж, планирования и данных ERP.
  • Знание оборудования: основное технологическое оборудование непрерывных производств горнообогатительных комбинатов.
Мы предлагаем:
  • ТОП-5 Золотодобывающих компаний России в стадии роста и трансформации.

  • Работа в управляющей компании: более 10 операционных активов и большой портфель проектов развития.

  • Команда лидеров отрасли, владеющих лучшими производственными и управленческими практиками.

  • Инновационный подход и использование самых продвинутых технологий.

  • Возможность реализовать свой потенциал и построить карьеру.

  • Профессиональное обучение и развитие.

  • Пакет страхования: ДМС, страхование жизни и выезда за рубеж, онкострахование.

  • Программа "Кафетерий льгот": 11000 руб/мес. на одну из категорий: питание, транспорт, спорт, ДМС для родственника.

  • 100% доплата до оклада в отпуске и командировках, а во время больничного до 10 дней в год.

  • Bestbenefits: доступ к специальным предложениям от наших партнеров и эксклюзивным скидкам.

  • Офис в Москва-Сити.

Похожие вакансии Data Engineer

hh.ru
водород

Data Engineer (Senior)

водородАвтоподнятие
Зарплата не указанаБеларусьМинскГибрид

Мы, VADAROD – IT компания, которая специализируется на разработке и сопровождении программных продуктов в финтех домене.

Для участия в проекте по построению корпоративного хранилища данных мы ищем Data Engineer.

Задачи:

  • создание слоя транформации сырых данных;

  • участие в развитии КХД в части разработки концептуальной, логической и физической модели данных;

  • участие в разработке архитектуры решения;

  • участие в code review.

Мы ожидаем:

  • знание SQL;

  • знание Python;
  • опыт написания и отладки сложных SQL-запросов;
  • практические навыки по проектированию схемы базы данных, опыт работы с ER-диаграммами.

Будет плюсом:

  • опыт работы в финтех домене или понимание бизнес-процессов в финансовых организациях;

  • опыт работы с аналитическими (оконными) функциями;

  • опыт работы с Apache Airflow, Debezium.

Мы предлагаем:

  • комфортный, современный офис в центре города;
  • гибкое начало рабочего дня;
  • медицинская страховка с включенной стоматологией;
  • курсы английского языка;
  • возможность внешнего и внутреннего обучения, участие в семинарах и конференциях;
  • отпуск 29 дней и выплата к отпуску;
  • обеспечиваем необходимой техникой для комфортной работы.

Откликайся! Мы ждем твое резюме)

*вакансия открыта в связи с перспективой потребности в работнике.

hh.ru
М

Data Engineer (Middle+/Senior)

мфо sapa digital finance
Зарплата не указанаКазахстанАлматыОфис

Ищем сильного Data Engineer уровня Middle+/Senior, который умеет самостоятельно проектировать и развивать процессы обработки данных.

Вы станете первым Data-инженером компании и владельцем данных - совместно с подрядчиком возьметесь за реализацию хранилища данных и доведете его до рабочего состояния с дальнейшим развитием до платформы данных. Позиция с перспективой роста до руководителя Data направления.

Задачи
  • Ведение хранилища данных - архитектура слоев, модель данных, паттерны разработки ХД и подключение новых источников
  • Построение истории изменения данных (SCD2) и сквозного ключа клиента между источниками
  • Разработка, поддержка и оптимизация ETL/ELT-процессов.
  • Ведение хранилища данных - архитектура слоев, модель данных, паттерны разработки ХД и подключение новых источников
  • Построение и развитие пайплайнов сбора, обработки и загрузки данных.
  • Интеграция данных из различных источников: API, реляционные БД, Kafka, внешние сервисы.
  • Участие в проектировании и развитии хранилищ данных (DWH, Data Lake, Data Lakehouse).
  • Разработка и оптимизация процессов пакетной и потоковой обработки данных.
  • Обеспечение качества, целостности, актуальности и согласованности данных.
  • Оптимизация SQL-запросов и производительности обработки больших объемов данных.
  • Настройка мониторинга, логирования и обработки ошибок в пайплайнах данных.
  • Резервное копирование и регулярные проверки восстановления хранилища.
  • Подготовка и предоставление данных для аналитики, отчетности и подготовка признаков для ML-моделей.
  • Постановка задач, приемка работ и взаимодействие с подрядчиками
  • Документирование данных
Требования
  • Опыт работы на позиции Data Engineer от 4 лет.
  • Опыт построения хранилища или его рефакторинга, от источника до витрины, на ведущих ролях
  • Уверенное владение SQL и Python.
  • Практический опыт работы с PostgreSQL и ClickHouse. Глубокое знание PostgreSQL-индексы, патиционирование, репликация, планы запросов, резервное копирование и восстановление и т.п.
  • Моделирование данных с историей изменений, бизнес-ключи
  • Опыт применения автоматических проверок качества данных
  • Опыт разработки ETL/ELT-процессов с использованием Apache Airflow или аналогичных инструментов.
  • Понимание принципов проектирования DWH, Data Lakehouse и моделирования данных.
  • Понимание различий между OLTP и OLAP-системами.
  • Опыт работы с большими объемами данных и оптимизации SQL-запросов.
  • Понимание принципов инкрементальной загрузки данных и CDC.
  • Опыт работы с Git.
  • Понимание принципов мониторинга, отказоустойчивости и восстановления процессов обработки данных.
  • Самостоятельность, системное мышление и ответственность за результат. Умение объяснять технические вещи простым языком.
Будет плюсом
  • Опыт работы с Apache Kafka и потоковой обработкой данных.
  • dbt или аналогичный инструмент трансформаций
  • Практический опыт построения или развития Data Lakehouse.
  • Знакомство с ML-пайплайнами и MLOps.
  • Опыт работы с финансовыми данными, скоринговыми системами или кредитными продуктами.
  • Опыт работы с данными BPM-систем
  • Опыт подготовки данных для регуляторной отчетности
  • Опыт интеграции данных в микросервисной архитектуре.
Условия
  • Ответственность за архитектуру данных и самостоятельное принятие технических решений по ней
  • Перспектива роста до руководителя Data направления компании
  • Работа в финтех-компании с действующими продуктами и реальными объемами данных.
  • Участие в развитии платформы данных и построении современных решений для аналитики.
  • Возможность влиять на архитектуру и развитие Data-направления.
  • Офисный формат работы, Алматы.
  • Конкурентная заработная плата по результатам собеседования.
  • Компенсация профильных курсов и профессионального обучения.
  • Бесплатные курсы английского языка.
  • Медицинское страхование за счёт компании с установленным лимитом покрытия
hh.ru
отп банк. it

Data engineer

отп банк. it
Зарплата не указанаРоссияМоскваОфис

Цель: Обеспечение стабильной, автоматизированной и масштабируемой инфраструктуры обработки данных для задач маркетинговой аналитики банка. Развитие процессов сбора и интеграции данных из внутренних и внешних источников, построение и оптимизация аналитических витрин, автоматизация регулярных расчётов и обновления BI-отчётности. Повышение качества, доступности и своевременности данных, сокращение ручных операций и снижение операционных рисков при подготовке аналитической информации для принятия бизнес-решений.

Чем предстоит заниматься:

  • Разработка ETL/ELT-процессов. Разработка, оптимизация и сопровождение процессов загрузки, преобразования и обработки данных с использованием SQL, Python, Apache Spark и других инструментов.
  • Развитие DWH и аналитических витрин. Проектирование, создание и поддержка аналитических моделей и витрин данных в Hadoop (Spark, Iceberg), Greenplum и ClickHouse; оптимизация хранения, обработки и выполнения запросов.
  • Интеграция внутренних и внешних источников данных. Организация загрузки данных из внутренних систем банка и внешних платформ, включая AppMetrica, Яндекс Метрику, Яндекс Директ и другие источники, посредством API, SFTP и иных согласованных способов обмена данными.
  • Автоматизация и оркестрация. Разработка и сопровождение процессов в Apache Airflow, управление расписаниями, зависимостями, повторными запусками и обработкой ошибок; перевод ручных расчётов в автоматизированные процессы.
  • Автоматизация BI-отчётности. Обеспечение регулярного обновления источников данных, датасетов и аналитических дашбордов FineBI, контроль своевременности и корректности обновления информации.
  • Контроль качества данных. Разработка и внедрение автоматизированных проверок полноты, корректности, уникальности и актуальности данных; выявление и устранение причин расхождений и ошибок.
  • Мониторинг и сопровождение. Контроль работоспособности пайплайнов, диагностика и устранение сбоев, настройка логирования, уведомлений и механизмов восстановления процессов.
  • Взаимодействие со смежными подразделениями. Совместная работа с аналитиками, владельцами информационных систем, инфраструктурными подразделениями и командами УИБ/ИБ по вопросам доступов, интеграций, согласования технических решений и выполнения требований информационной безопасности.
  • Развитие инженерных практик. Использование Git/Bitbucket, участие в Code Review, документирование решений, соблюдение стандартов разработки и участие в развитии процессов тестирования и поставки кода.
  • Техническая проработка задач. Участие в анализе требований, оценке трудоёмкости и декомпозиции задач совместно с аналитиками; выбор и реализация технических решений в рамках архитектуры и стандартов банка.

Что мы ожидаем от кандидата:

  • Уверенное владение SQL.
  • Уверенное владение Python для разработки процессов обработки данных, интеграций и автоматизации.
  • Практический опыт разработки и сопровождения ETL/ELT-процессов, включая инкрементальную загрузку, повторные запуски и обработку ошибок.
  • Опыт работы с Apache Spark (PySpark и/или Spark SQL), понимание принципов распределённой обработки больших объёмов данных.
  • Опыт работы с Apache Airflow или аналогичными инструментами оркестрации процессов.
  • Опыт работы с DWH и аналитическими базами данных, понимание архитектуры хранилищ и принципов построения аналитических витрин.
  • Понимание подходов к обеспечению качества данных, мониторингу и диагностике процессов обработки данных.
  • Опыт использования Git и инструментов совместной разработки.
  • Понимание принципов интеграции информационных систем, работы с API и основных способов передачи данных.
  • Умение работать с техническими требованиями, самостоятельно реализовывать согласованные решения и взаимодействовать с аналитиками и смежными IT-командами.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.