data world

Data Integration Engineer (Support) (Python)

В команду ищем Data Engineer (Support)

data world

85k–90k ₽РоссияМоскваУдалёнка

В команду ищем Data Engineer (Support)

Удалёнка по РФ

ИТ аккредитация, ДМС

Проект "Управление загрузки данных" (заказная разработка Сбербанка)

Хочешь попасть в крупный финтех-проект, но думаешь, что «нужен большой опыт»? Это твой шанс!

Мы ищем Data Integration Engineer в команду поддержки тракта репликации данных. Это не «ещё одна вакансия» — это реальная возможность поработать с промышленной Hadoop-инфраструктурой, разобраться в том, как данные двигаются в масштабах банка, и прокачаться до уровня, за который потом будут драться.

Что ты будешь делать

  • Общаться с системами-источниками — понимать, откуда и как приходят данные
  • Настраивать модули репликации — чтобы данные ехали стабильно и без потерь
  • Разбирать инциденты в тракте репликации и находить первопричины (RCA — это не страшное слово, а твой новый навык)
  • Внедрять корректирующие меры, чтобы инциденты не повторялись
  • Ставить задачи ядровым командам и видеть, как твои фиксы доходят до продакшена
  • Работать с обращениями клиентов — живая обратная связь и реальный импакт

Что нам важно от тебя

Мы не ждём сеньора. Мы ждём голодного до данных инженера, который готов разбираться.

База (обязательно):

  • Понимаешь, чем DWH отличается от Data Lake — и зачем вообще нужны оба
  • Знаешь, что такое HDFS, Kafka, Hive, HBase — хотя бы на уровне «что это и зачем»
  • Уверенно чувствуешь себя в Linux: навигация, чтение файлов, базовые команды
  • Работал с Git/BitBucket: ветки, merge, конфликты — не пугают
  • Пишешь SQL средней сложности: JOIN, GROUP BY, вложенные запросы
  • Можешь написать простой Bash-скрипт, чтобы не делать рутину руками
  • Умеешь читать логи и задавать правильный вопрос «а почему это сломалось?»

Будет плюсом (но не обязательно):

  • Python, Scala, Spark — если трогал, расскажи, мы оценим

Что ты получишь

  • Удалёнку — работай из дома, без привязки к офису
  • Проект Сбербанка — масштаб, данные, инфраструктура, которые в резюме выглядят очень весомо
  • Рост изнутри: задачи поддержки — это лучшая школа, ты увидишь всю «кухню» интеграции данных и быстро вырастешь
  • Команду, которая не бросает: ядровые команды рядом, есть у кого учиться
  • Понимание, как устроены реальные data-пайплайны в крупном банке — этот опыт потом продаётся дорого

Главное — желание разобраться в Hadoop-экосистеме и расти.

Откликайся — расскажи, что уже знаешь, и что хочешь освоить.

Похожие вакансии Data Engineer

hh.ru
Зарплата не указанаРоссияМоскваОфис

Управление по работе с данными Аналитического центра при Правительстве РФ открывает поиск на вакансию "Дата инженер/разработчик Python". Мы разрабатываем системы для сбора, обработки и анализа данных из разнообразных источников, в том числе с применением AI. Ищем специалиста, который будет развивать инфраструктуру данных и участвовать в прикладной Python-разработке.

Чем предстоит заниматься:

  • Разрабатывать и поддерживать ETL/ELT-пайплайны на Apache Airflow;
  • Создавать и развивать адаптивные парсеры (Selenium, Playwright), устойчивые к изменениям структуры сайтов-источников;
  • Проектировать и оптимизировать базы данных на PostgreSQL: схемы, индексы, транзакции, репликация, сложные запросы;
  • Организовывать хранение сырых и обработанных данных в S3 с управлением доступами через переменные окружения;
  • Внедрять и поддерживать практики Data Quality, Data Lineage и Data Catalog;
  • Разрабатывать REST API и backend-сервисы на FastAPI (Pydantic, асинхронность, middleware, OpenAPI);
  • Интегрировать AI-модели и LLM в продукт: подготовка данных, RAG-пайплайны, промпты, структурированный вывод и оценка качества ответов;
  • Автоматизировать рутинные операции в Linux с помощью Bash-скриптов;
  • Участвовать в code review и командной разработке через Git.

Необходимые знания и навыки:

  • Высшее образование;
  • Уверенное знание Python;
  • Опыт разработки и поддержки пайплайнов на Apache Airflow;
  • Опыт создания адаптивных алгоритмов парсинга, подстраивающихся под изменения структуры сайтов-источников;
  • Опыт работы с инструментами веб-скрапинга (Selenium, Playwright) и понимание веб-протоколов;
  • Глубокое понимание PostgreSQL: несколько схем, индексы, транзакции, репликация, оконные функции, написание и оптимизация сложных запросов;
  • Опыт работы с S3-совместимыми хранилищами (MinIO) и управлением доступом через переменные окружения;
  • Понимание принципов Data Quality, Data Lineage и Data Catalog;
  • Опыт разработки REST API на FastAPI (Pydantic, асинхронность, middleware, OpenAPI);
  • Опыт разработки Python-сервисов с использованием AI/LLM (работа с API моделей, промптинг, базовое понимание RAG и векторного поиска);
  • Уверенная работа с Git (ветвление, pull request, code review, разрешение конфликтов);
  • Уверенная работа в Linux и написание Bash-скриптов.

Будет весомым преимуществом:

  • Понимание основ ML, опыт оценки качества LLM и локального запуска моделей (vLLM, Ollama);
  • Опыт работы с Docker: написание Dockerfile, оптимизация образов, Docker Compose, сетевое взаимодействие контейнеров;
  • Опыт настройки CI/CD: автоматизация тестов, линтеров, сборки и деплоя;
  • Опыт работы с брокерами сообщений (RabbitMQ, Kafka).

Что мы предлагаем:

  • Официальное трудоустройство в аккредитованную ИТ-компанию: полное соответствие ТК РФ, стабильность;
  • График работы: 5/2, 9:00 - 18:00;
  • Бронирование: предоставление права на отсрочку от призыва на военную службу по мобилизации и последующих призывов в военное время для граждан, пребывающих в запасе ВС РФ (для военнообязанных);
  • Конкурентная заработная плата: обсуждается индивидуально, исходя из вашего опыта и навыков;
  • ДМС: расширенная программа медицинского страхования, включающая стоматологию, телемедицину и страхование путешественников (подключаем после прохождения 3-х месячного испытательного срока), скидки на страхование для членов семьи;
  • Фитнес: предоставляем корпоративные скидки на клубные карты;
  • Интересные задачи: работа над сложными продуктами/проектами;
  • Комфортный офис в центре города, в шаговой доступности от м. Красные ворота, Чистые пруды, Сретенский бульвар, Тургеневская.
hh.ru
лига цифровой экономики
Зарплата не указанаРоссияМоскваГибрид

Проект Банка ТОП-3. Команда работает над системой, которая предназначена для организации мониторинга специализированных транспортных средств инкассации. Система позволяет осуществлять в режиме реального времени непрерывный контроль за работой бригад инкассаторов, выдает предупреждения о возникновении внешних угроз при работе на маршрутах и контроль состояния водителя

Твои задачи:

  • Проводить рефакторинг, редизайн и поэтапную модернизацию legacy-систем
  • Разбираться в чужом коде, выявлять узкие места и устранять накопленный технический долг
  • Разрабатывать и внедрять новую продуктовую функциональность на базе Python 3, FastAPI и Django / DRF
  • Проектировать структуру баз данных в PostgreSQL, управлять схемами данных и миграциями через Django ORM и SQLAlchemy
  • Оптимизировать производительность сервисов: настраивать сложные SQL-запросы, работать с индексами, транзакциями и блокировками
  • Покрывать реализованный код модульными и интеграционными автотестами с использованием pytest
  • Интегрировать сервисы с внешними системами, брокерами сообщений (Kafka) и кэширующими слоями (Redis)
  • Участвовать в код-ревью и обсуждении архитектурных решений вместе с командой разработки

Что мы ждем от тебя:

  • Опыт работы с legacy, умение самостоятельно разбираться в чужом коде, находить узкие места и поэтапно модернизировать систему
  • Знание Python 3, опыт работы с асинхронным кодом (asyncio)
  • Владение FastAPI и Django / Django REST Framework (DRF)
  • Понимание работы реляционных БД (PostgreSQL): механизмы транзакций, уровни изоляции, блокировки, индексы, оптимизация сложных SQL-запросов и структуры таблиц
  • Опыт работы с SQLAlchemy и Django ORM
  • Практический опыт написания интеграционных и модульных тестов с использованием pytest
  • Понимание принципов чистой архитектуры, паттернов проектирования

Будет плюсом:

  • Практический опыт работы с брокерами сообщений (Apache Kafka или RabbitMQ)
  • Опыт использования Redis (кэширование, очереди, pub/sub)
  • Базовые навыки работы с контейнеризацией и оркестрацией (Docker, Docker Compose), опыт работы в CI/CD пайплайнах
  • Опыт профилирования приложений и мониторинга производительности в production

Что мы обеспечиваем:

  • Внутренние семинары, митапы, мы очень любим учиться новому
  • ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи
  • Технику для комфортной работы
  • Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудник
hh.ru
Зарплата не указанаРоссияМоскваГибрид

Мы ищем middle fullstack-разработчика (в основном разработка на python, но также есть немного фронтовых задач) в команду Data Ocean. Команда разрабатывает и поддерживает систему для управления большими данными + развивают data management портал с личными кабинетами команд разработки. Цель команды: автоматизировать процессы управления данными и их качеством, обеспечивать надёжность, производительность, безопасность и сопровождаемость решений.

Ценим командную работу, работаем в кроссфункиональных командах. По средам 1 раз в неделю встречаемся в офисе возле м. Войковская в Москве.

Задачи в этой роли:

  • Разрабатывать и сопровождать функциональность Data Ocean Governance: каталоги, реестры, карточки объектов и формы. Настраивать загрузку и актуализацию метаданных из систем Банка, контролировать полноту загрузок и обрабатывать ошибки;

  • Развивать модуль Data Quality: реализовывать проверки качества данных и обработку их результатов, развивать функциональность управления соглашениями об уровне качества данных (DQLA), мониторинга, уведомлений и маршрутизации инцидентов;

  • Разрабатывать серверную часть дата-портала на Python и FastAPI и пользовательские интерфейсы на Vue 3;

  • Развивать поиск, каталоги, формы заявок, дашборды и разделы профессионального сообщества;

  • Интегрировать платформу и дата-портал с системами Банка, автоматизировать маршруты согласования и обработки заявок, в том числе с использованием Camunda BPM;

  • Настраивать ролевую модель и разграничение доступа;

  • Участвовать в разработке AI-помощника и RAG-сервисов для поиска по базе знаний с учётом прав пользователей и требований информационной безопасности.

Необходимая экспертиза:

  • Опыт коммерческой разработки на Python от 3 лет;

  • Уверенное владение Python и SQL, возможность и готовность брать немного задач на фронт;

  • Опыт разработки серверных сервисов и REST API, работы с PostgreSQL как базой данных приложения и проектирования схем хранения прикладных данных;

  • Опыт реализации фоновых задач с использованием Celery и Redis;

  • Опыт разработки и сопровождения процессов загрузки и обработки данных в Apache Airflow;

  • Опыт работы с Groovy для расширения функциональности платформы и автоматизации процессов;

  • Навыки работы с Docker и Git. Понимание принципов CI/CD, логирования и мониторинга;

  • Опыт интеграции информационных систем, тестирования и сопровождения приложений в промышленной эксплуатации.

Будет преимуществом:

  • Опыт работы с Data Ocean Governance или аналогичными платформами, понимание задач управления метаданными и качеством данных;
  • Опыт работы с FastAPI, Camunda BPM, Elasticsearch или Keycloak;
  • Опыт работы с хранилищами данных и ETL/ELT-процессами;
  • Опыт разработки AI-помощников и RAG-сервисов.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.