бкс it & digital

Data Engineer (Python)

«База знаний» - это внедрение базовой дисциплины управления критическими* данными корпоративного хранилища: как структурированными (таблицы, витрины, отчёты), так и неструктурированными (Confluence, Wiki — знания о данных).

бкс it & digital

↑ Вакансия с автоподнятием
Зарплата не указанаРоссияМоскваУдалёнка

Описание стрима:

«База знаний» - это внедрение базовой дисциплины управления критическими* данными корпоративного хранилища: как структурированными (таблицы, витрины, отчёты), так и неструктурированными (Confluence, Wiki — знания о данных).

Цель проекта – создание работающей системы управления критическими данными ФГ, обеспечивающей:

  • полную идентификацию и описание источников,
  • измеримое качество через дата-контракты,
  • единую навигацию по данным и знаниям о них,
  • дисциплину поддержания актуальности,
  • наличие источников в целевом состоянии.

Чем предстоит заниматься:

  • Разрабатывать и поддерживать CI/CD-пайплайны для ETL-процессов, проверок качества данных и инфраструктурных компонентов;
  • Обеспечивать версионирование ETL-кода, конфигураций, тестов и технической документации;
  • Автоматизировать развёртывание, пересборку и восстановление data-пайплайнов при сбоях;
  • Настраивать мониторинг, алертинг и централизованное логирование для контроля состояния процессов и качества данных;
  • Внедрять автоматизированные проверки схем, целостности и полноты данных на этапах загрузки и обработки;
  • Обеспечивать управление секретами, доступами и безопасностью данных и инфраструктуры;
  • Поддерживать среды разработки, тестирования и эксплуатации, оптимизировать производительность и использование ресурсов;
  • Настраивать резервное копирование и восстановление данных и конфигураций, обеспечивать соблюдение RTO/RPO;
  • Участвовать в диагностике и устранении инцидентов, проводить пост-инцидентный анализ;
  • Документировать архитектуру, data-пайплайны, процессы деплоя и восстановления.

Наши ожидания:

  • 3+ года опыта в роли Data Engineer/Backend Developer;
  • Python: для написания DAGs Airflow (DAG, операторы, сенсоры);
  • Airflow: DAG, операторы, сенсоры;
  • SQL: глубокое знание, оптимизация запросов, опыт работы с PostgreSQL и ClickHouse;
  • Kafka: опыт работы с producers/consumers, настройка кластера/брокеров/топиков;
  • СУБД: Redis/ClickHouse/PostgreSQL или подобные системы;
  • CI/CD: Gitlab CI, Runners, Docker, Bash

Мы предлагаем:

  • Доступ к современным AI-инструментам;
  • Работу в стабильной и активно развивающейся компании – лидере инвестиционного рынка;
  • Современный стек технологий, амбициозные проекты, возможность профессионального развития;
  • Гибридный режим работы: возможность работать удаленно (частично или полностью);
  • Работу в аккредитованной Минцифры России ИТ-компании, резиденте Сколково;
  • ДМС с первого месяца работы.

Похожие вакансии Data Engineer

hh.ru
т-банк. ит. dwh

Дата-инженер

т-банк. ит. dwhАвтоподнятие
Зарплата не указанаРоссияПермьГибрид

В Т‑Банк большое и продвинутое хранилище данных: это 8000 объектов, 800 ТБ в Greenplum и 110 ТБ в Clickhouse.

С данными активно работают более 16 тысяч пользователей из бизнес-команд — они ежедневно принимают десятки решений с опорой на них. А наша команда делает все, чтобы доступ к данным был простым и ими было удобно пользоваться. Мы постоянно совершенствуем подходы к работе и стараемся быть новаторами на рынке технологий.

Мы ищем в команду дата-инженера. В Т‑Банке вы сможете развиваться в одном из двух направлений — системном анализе и ETL-разработке. Или совмещать их, если вам интересны оба.

Обязанности

  • Участвовать в формировании модели данных
  • Проектировать и разрабатывать витрины и потоки данных на основе потребностей бизнес-пользователей
  • Участвовать в проектах по развитию Data Platform
  • Писать скрипты SQL и Python, это опционально
  • Прорабатывать интеграции с внешними системами для Data Platform

Требования

  • Свободно владеете SQL
  • Работали с DWH в качестве аналитика или разработчика
  • Понимаете теорию СУБД- и ETL-процессов
  • Знаете Python или другой язык программирования
  • Есть опыт проектирования объектов БД на основании бизнес требований

Условия

  • Работу из офиса. График работы — гибридный
  • Достойную зарплату — обсудим ее на собеседовании
hh.ru
т-банк. ит. разработка

Дата-инженер

т-банк. ит. разработкаАвтоподнятие
Зарплата не указанаРоссияЕкатеринбургГибрид

В Т-Банке большое и продвинутое хранилище данных: это 8000 объектов, 800 ТБ в Greenplum и 110 ТБ в Clickhouse. С данными активно работают более 16 тысяч пользователей из бизнес-команд — они ежедневно принимают десятки решений с опорой на них. А наша команда делает все, чтобы доступ к данным был простым и ими было удобно пользоваться. Мы постоянно совершенствуем подходы к работе и стараемся быть новаторами на рынке технологий. Мы ищем в команду дата-инженера. В Т-Банке вы сможете развиваться в одном из двух направлений — системном анализе и ETL-разработке. Или совмещать их, если вам интересны оба.

Обязанности:
  • Участвовать в формировании модели данных
  • Проектировать и разрабатывать витрины и потоки данных на основе потребностей бизнес-пользователей
  • Участвовать в проектах по развитию Data Platform
  • Писать скрипты SQL и Python, это опционально
  • Прорабатывать интеграции с внешними системами для Data Platform

Требования:
  • Свободно владеете SQL
  • Работали с DWH в качестве аналитика или разработчика минимум 5 лет
  • Понимаете теорию СУБД- и ETL-процессов
  • Знаете Python или другой язык программирования
  • Есть опыт проектирования объектов БД на основании бизнес требований

Условия:
  • Работа гибрид или удаленно — по договоренности
  • Платформу обучения и развития «Т‑Банк Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии
  • Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. Предложим льготное страхование вашим близким
  • Возможность работы в аккредитованной ИТ-компании
  • Линейку льготных тарифов на продукты Т‑Банка
  • Частичную компенсацию затрат на спорт
  • Well-being-программу, которая помогает улучшить психологическое и физическое здоровье, а также разобраться с юридическими и финансовыми вопросами
  • Три дополнительных дня отпуска в год
  • Достойную зарплату — обсудим ее на собеседовании
Соц.сети

Data Engineer Middle

Зарплата не указанаНе указана странаЛокация не указанаУдалёнка

#middle #удаленка

••••••••
Data Engineer Middle
Опыт работы: 1–3 года
Полная занятость
График: 5/2
Формат работы: удалённо

☑️ Наши пожелания к кандидатам
-2+ years with Python including strong knowledge of data libraries (pandas, multiprocess, Google Cloud SDK)
-2+ years of experience in ETL/ELT technologies (REST API, GraphQL, DBT, etc. ) and data pipeline orchestration (e.g., Airflow, Astronomer, DBT cloud, etc)
-Hands-on experience with Snowflake
-Problem-solving and root cause analysis in live production systems along with experience querying and transforming large volumes of data, data quality and data validation
-Experience in SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)
-Comfortable working with serialized data format (JSON, AVRO, XML, CSV) as well as compressed and encoded files
-Comfortable with ingesting data using REST APIs, data transformations and data loading/unloading techniques
-English proficiency sufficient to work in an international environment
-Будет плюсом:
-Capable of designing and implementing data pipelines over cloud architecture
-Experience working with CI/CD deployments
-Experience working with GIT

Контакты: ••••••••

🔥 •••••••• / •••••••• / ••••••••

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.