отп банк. it

Data engineer (Python)

Цель: Обеспечение стабильной, автоматизированной и масштабируемой инфраструктуры обработки данных для задач маркетинговой аналитики банка. Развитие процессов сбора и интеграции данных из внутренних и внешних источников, построение и оптими…

отп банк. it

Зарплата не указанаРоссияМоскваОфис

Цель: Обеспечение стабильной, автоматизированной и масштабируемой инфраструктуры обработки данных для задач маркетинговой аналитики банка. Развитие процессов сбора и интеграции данных из внутренних и внешних источников, построение и оптимизация аналитических витрин, автоматизация регулярных расчётов и обновления BI-отчётности. Повышение качества, доступности и своевременности данных, сокращение ручных операций и снижение операционных рисков при подготовке аналитической информации для принятия бизнес-решений.

Чем предстоит заниматься:

  • Разработка ETL/ELT-процессов. Разработка, оптимизация и сопровождение процессов загрузки, преобразования и обработки данных с использованием SQL, Python, Apache Spark и других инструментов.
  • Развитие DWH и аналитических витрин. Проектирование, создание и поддержка аналитических моделей и витрин данных в Hadoop (Spark, Iceberg), Greenplum и ClickHouse; оптимизация хранения, обработки и выполнения запросов.
  • Интеграция внутренних и внешних источников данных. Организация загрузки данных из внутренних систем банка и внешних платформ, включая AppMetrica, Яндекс Метрику, Яндекс Директ и другие источники, посредством API, SFTP и иных согласованных способов обмена данными.
  • Автоматизация и оркестрация. Разработка и сопровождение процессов в Apache Airflow, управление расписаниями, зависимостями, повторными запусками и обработкой ошибок; перевод ручных расчётов в автоматизированные процессы.
  • Автоматизация BI-отчётности. Обеспечение регулярного обновления источников данных, датасетов и аналитических дашбордов FineBI, контроль своевременности и корректности обновления информации.
  • Контроль качества данных. Разработка и внедрение автоматизированных проверок полноты, корректности, уникальности и актуальности данных; выявление и устранение причин расхождений и ошибок.
  • Мониторинг и сопровождение. Контроль работоспособности пайплайнов, диагностика и устранение сбоев, настройка логирования, уведомлений и механизмов восстановления процессов.
  • Взаимодействие со смежными подразделениями. Совместная работа с аналитиками, владельцами информационных систем, инфраструктурными подразделениями и командами УИБ/ИБ по вопросам доступов, интеграций, согласования технических решений и выполнения требований информационной безопасности.
  • Развитие инженерных практик. Использование Git/Bitbucket, участие в Code Review, документирование решений, соблюдение стандартов разработки и участие в развитии процессов тестирования и поставки кода.
  • Техническая проработка задач. Участие в анализе требований, оценке трудоёмкости и декомпозиции задач совместно с аналитиками; выбор и реализация технических решений в рамках архитектуры и стандартов банка.

Что мы ожидаем от кандидата:

  • Уверенное владение SQL.
  • Уверенное владение Python для разработки процессов обработки данных, интеграций и автоматизации.
  • Практический опыт разработки и сопровождения ETL/ELT-процессов, включая инкрементальную загрузку, повторные запуски и обработку ошибок.
  • Опыт работы с Apache Spark (PySpark и/или Spark SQL), понимание принципов распределённой обработки больших объёмов данных.
  • Опыт работы с Apache Airflow или аналогичными инструментами оркестрации процессов.
  • Опыт работы с DWH и аналитическими базами данных, понимание архитектуры хранилищ и принципов построения аналитических витрин.
  • Понимание подходов к обеспечению качества данных, мониторингу и диагностике процессов обработки данных.
  • Опыт использования Git и инструментов совместной разработки.
  • Понимание принципов интеграции информационных систем, работы с API и основных способов передачи данных.
  • Умение работать с техническими требованиями, самостоятельно реализовывать согласованные решения и взаимодействовать с аналитиками и смежными IT-командами.

Похожие вакансии Data Engineer

hh.ru
go-to-sport.ru

Инженер данных (Data Engineer)

go-to-sport.ru
Зарплата не указанаРоссияМоскваУдалёнка

GTS использует данные для продаж, закупок и планирования ассортимента спортивной одежды. Ищем инженера в пару к специалисту, который развивает аналитическую базу. Вы сможете вести процессы целиком, от загрузки до цифры в отчёте. График и вознаграждение обсудим на встрече.

Что предстоит делать

• Сопровождать загрузчики на Python, трансформации dbt в PostgreSQL и задания Dagster. Разбирать пропуски и дубли, проверять повторную загрузку за нужные даты.

• Готовить данные для первой версии отчётности в Metabase. Добавлять проверки полноты и свежести данных, настраивать оповещения и выбирать, какие события передавать ИИ-агенту.

• Сопровождать сервисы на Linux в Docker Compose. Настраивать доступ по HTTPS через обратный прокси и проверять в тестовой среде восстановление базы и конфигураций из ежедневных резервных копий.

• Описывать зависимости и порядок восстановления вместе с коллегой. Проверять инструкции на практике, чтобы каждый мог самостоятельно подменить другого.

Первый участок в работе Вместе выберете одну критичную загрузку. Вы проследите путь данных до отчёта, настроите оповещение и самостоятельно проведёте контрольный перезапуск. Затем по вашей инструкции коллега проверит, что итоговые суммы сходятся.

Какой опыт пригодится

  • Вы сопровождали рабочие загрузки данных,
  • Вы уверенно пишете на Python и SQL,
  • Вы знаете PostgreSQL, Linux и Docker.
  • Подойдёт опыт Dagster или другого оркестратора.
  • Практика работы с dbt и Metabase пригодится с первых задач.

В отклике Опишите сбой, который вы сами расследовали. Как заметили проблему, восстановили данные без дублей и какое изменение предложили, чтобы следующий сбой обнаружили раньше?

hh.ru
иц ай-теко

Data Analyst/Engineer

иц ай-текоАвтоподнятие
до 220k ₽РоссияМоскваОфис

КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием открыта вакансия Data Analyst/Engineer .

От кандидата ожидаем:

  • Мы ждем от кандидата (Обязательно). Законченное ВО.
  • Опыт работы с данными от 2 лет (дата-инженер+ аналитик данных / DWH).
  • Продвинутый SQL: Умение писать сложные запросы, искать аномалии, дубликаты, считать метрики качества.
  • Python на уровне написания скриптов: Опыт работы с Pandas / PySpark для обработки и анализа данных.
  • Опыт работы с Hadoop / Hive / Greenplum
  • Понимание жизненного цикла данных: Знание, как данные текут из источника в хранилище и витрины (ETL/ELT-процессы).
  • Опыт работы с системами контроля версий (Git) и задачами (Jira).
  • Аналитическое мышление: Умение не просто констатировать проблему, а находить ее первопричину (почему данные испортились: ошибка загрузки, сбой в источнике, человеческий фактор)
  • Навыки коммуникации: Готовность и умение общаться с разными командами — от разработчиков до бизнес-заказчиков.

МЫ ПРЕДЛАГАЕМ:

  • Офисный формат работы;
  • Работу в стабильной компании, "белую" заработную плату;
  • Оформление в соответствии с ТК РФ с первого дня работы;
  • Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции;
  • Профессиональное обучение и развитие;
  • Яркая и насыщенная корпоративная жизнь;
  • Снабжаем всей необходимой современной техникой.

  • ✅ ОТКЛИКАЙСЯ =) ЖДУ, КОГДА ВМЕСТЕ ПОРАДУЕМСЯ ТВОЕМУ ОФФЕРУ)

Сайты компаний
Зарплата не указанаРоссияМосква

Привет! Это команда разработки DWH. Мы занимаемся созданием ETL процессов с использование Airflow, Vertica, Hadoop, Trino. Строим аналитическое хранилище DWH с использованием якорной модели. Занимаемся оптимизацией запросов, помогаем пользователям находить нужные данные. В команду направления хранения и обработки данных Ozon Tech ищем стажёра DWH-разработчика.

Наш стек

  • Trino, Vertica, Hadoop, Spark, Jupyter Notebook, Python, Airflow, Docker.

Вы будете

  • Профилировать данные различных областей: продажи, учёт, логистика, маркетинг.

  • Разрабатывать и развивать ETL-системы доставки, очистки и преобразования данных с помощью Airflow, Python и SQL.

  • Заниматься мониторингом, расследованием и исправлением инцидентов в pipline.

  • Оптимизировать запросы SQL.

  • Реализовывать масштабируемое хранилище на базе Vertica, Trino, Hadoop.

Нам важно

  • Статус действующего студента технической специальности.

  • Теоретические знания баз данных (включая нормальные формы).

  • Базовые навыки работы с SQL (SELECT-запросы с WHERE, ORDER BY и GROUP BY), оконные функции.

  • Понимание логики работы JOIN разных типов.

  • Базовые знания Python и способность реализовывать логические алгоритмы.

Будет плюсом

  • Навыки работы с Bash.

  • Навыки работы с Docker.

  • Примеры своих учебных, pet- или коммерческих проектов на GitHub.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.