advantage solutions

Senior Data Eningeer

Команда Data Engineering отвечает за Market Data Platform — lakehouse-инфраструктуру, которая покрывает весь путь данных: от сырых биржевых фидов до надёжного хранилища петабайтного масштаба для исследований, бэктестинга и торговли в реаль…

advantage solutions

↑ Вакансия с автоподнятием
Зарплата не указанаРоссияМоскваУдалёнка

Команда Data Engineering отвечает за Market Data Platform — lakehouse-инфраструктуру, которая покрывает весь путь данных: от сырых биржевых фидов до надёжного хранилища петабайтного масштаба для исследований, бэктестинга и торговли в реальном времени.

Опыт работы с биржевыми данными не обязателен: ключевое для нас — сильная экспертиза в lakehouse-системах. Доменный контекст команда даст сама.

Обязанности:

  • Развивать lakehouse на Apache Iceberg over AWS S3: партиционирование и сортировка данных, эволюция схемы, snapshots, time travel, compaction, TTL, point-in-time correctness для reference data. Оптимизировать производительность запросов и стоимость хранения.
  • Строить batch- и streaming-пайплайны на Airflow, Spark и dbt для tick data и reference data.
  • Развивать сбор и нормализацию market data: биржевые фиды (PCAP, multicast UDP, ITCH, FIX) и данные провайдеров (OneTick, Refinitiv, Bloomberg, ICE), реконструкция L2/L3 order book, обработка пропусков и сверка данных.
  • Разрабатывать внутренние библиотеки и единый слой доступа к данным (Spark, Polars): управление схемами, data contracts, валидация, lineage.
  • Отвечать за мониторинг, алертинг, SLAs/SLOs и CI/CD на Kubernetes / EKS.
Требования:
  • 5+ лет опыта разработки систем обработки данных в продакшене
  • Практический опыт работы с крупными data lake / lakehouse-системами и понимание типичных проблем их эксплуатации
  • Опыт работы с Apache Iceberg или аналогичными табличными форматами (Delta, Hudi): партиционирование, эволюция схемы, snapshots, compaction, работа с каталогом.
  • Понимание внутреннего устройства Spark и Iceberg и опыт построения пайплайнов end-to-end, а не только работы поверх готовых фреймворков.
  • Сильный Python, включая опыт с Polars и/или PySpark.
  • Понимание Apache Arrow и колоночных форматов данных.
  • Опыт с Airflow и Apache Spark или аналогичными системами оркестрации и распределённой обработки.
  • Продвинутый SQL: сложные агрегации, оконные функции, оптимизация запросов, partition pruning.
  • Уверенное знание Linux, практический опыт с Docker, Kubernetes/ EKS, AWS S3.
  • Понимание принципов хранения и оптимизации структурированных, неструктурированных и бинарных данных: партиционирование, сжатие, управление стоимостью.
  • Английский от B2 — для работы с документацией и общения с международной командой.
Будет плюсом:
  • Опыт с market data или network packet capture: PCAP, ITCH, FIX/FAST, multicast UDP, реконструкция order book, time-series data.
  • Опыт нормализации market data из нескольких источников (OneTick, Refinitiv/Reuters, Bloomberg, ICE) в единую схему данных и symbology.
  • Опыт со StarRocks или другими аналитическими query engines.
  • Опыт с Terraform, ArgoCD, Grafana, Prometheus.
  • Знание Rust или опыт его использования для high-performance capture/decoding.
Условия:
  • Полностью удалённая работа из любой точки мира с обязательным пересечением с командой с 12:00 до 18:00 по Москве (GMT+3).
  • Компенсация медицинской страховки, спорта и обучения.
  • Отсутствие бюрократии и реальная свобода в том, как выстраивать свою работу.
  • Возможность расширять зону ответственности по мере роста команды.

Похожие вакансии Data Engineer

hh.ru
Зарплата не указанаРоссияМоскваОфис

Управление по работе с данными Аналитического центра при Правительстве РФ открывает поиск на вакансию "Дата инженер/разработчик Python". Мы разрабатываем системы для сбора, обработки и анализа данных из разнообразных источников, в том числе с применением AI. Ищем специалиста, который будет развивать инфраструктуру данных и участвовать в прикладной Python-разработке.

Чем предстоит заниматься:

  • Разрабатывать и поддерживать ETL/ELT-пайплайны на Apache Airflow;
  • Создавать и развивать адаптивные парсеры (Selenium, Playwright), устойчивые к изменениям структуры сайтов-источников;
  • Проектировать и оптимизировать базы данных на PostgreSQL: схемы, индексы, транзакции, репликация, сложные запросы;
  • Организовывать хранение сырых и обработанных данных в S3 с управлением доступами через переменные окружения;
  • Внедрять и поддерживать практики Data Quality, Data Lineage и Data Catalog;
  • Разрабатывать REST API и backend-сервисы на FastAPI (Pydantic, асинхронность, middleware, OpenAPI);
  • Интегрировать AI-модели и LLM в продукт: подготовка данных, RAG-пайплайны, промпты, структурированный вывод и оценка качества ответов;
  • Автоматизировать рутинные операции в Linux с помощью Bash-скриптов;
  • Участвовать в code review и командной разработке через Git.

Необходимые знания и навыки:

  • Высшее образование;
  • Уверенное знание Python;
  • Опыт разработки и поддержки пайплайнов на Apache Airflow;
  • Опыт создания адаптивных алгоритмов парсинга, подстраивающихся под изменения структуры сайтов-источников;
  • Опыт работы с инструментами веб-скрапинга (Selenium, Playwright) и понимание веб-протоколов;
  • Глубокое понимание PostgreSQL: несколько схем, индексы, транзакции, репликация, оконные функции, написание и оптимизация сложных запросов;
  • Опыт работы с S3-совместимыми хранилищами (MinIO) и управлением доступом через переменные окружения;
  • Понимание принципов Data Quality, Data Lineage и Data Catalog;
  • Опыт разработки REST API на FastAPI (Pydantic, асинхронность, middleware, OpenAPI);
  • Опыт разработки Python-сервисов с использованием AI/LLM (работа с API моделей, промптинг, базовое понимание RAG и векторного поиска);
  • Уверенная работа с Git (ветвление, pull request, code review, разрешение конфликтов);
  • Уверенная работа в Linux и написание Bash-скриптов.

Будет весомым преимуществом:

  • Понимание основ ML, опыт оценки качества LLM и локального запуска моделей (vLLM, Ollama);
  • Опыт работы с Docker: написание Dockerfile, оптимизация образов, Docker Compose, сетевое взаимодействие контейнеров;
  • Опыт настройки CI/CD: автоматизация тестов, линтеров, сборки и деплоя;
  • Опыт работы с брокерами сообщений (RabbitMQ, Kafka).

Что мы предлагаем:

  • Официальное трудоустройство в аккредитованную ИТ-компанию: полное соответствие ТК РФ, стабильность;
  • График работы: 5/2, 9:00 - 18:00;
  • Бронирование: предоставление права на отсрочку от призыва на военную службу по мобилизации и последующих призывов в военное время для граждан, пребывающих в запасе ВС РФ (для военнообязанных);
  • Конкурентная заработная плата: обсуждается индивидуально, исходя из вашего опыта и навыков;
  • ДМС: расширенная программа медицинского страхования, включающая стоматологию, телемедицину и страхование путешественников (подключаем после прохождения 3-х месячного испытательного срока), скидки на страхование для членов семьи;
  • Фитнес: предоставляем корпоративные скидки на клубные карты;
  • Интересные задачи: работа над сложными продуктами/проектами;
  • Комфортный офис в центре города, в шаговой доступности от м. Красные ворота, Чистые пруды, Сретенский бульвар, Тургеневская.
hh.ru
лига цифровой экономики
Зарплата не указанаРоссияМоскваГибрид

Проект Банка ТОП-3. Команда работает над системой, которая предназначена для организации мониторинга специализированных транспортных средств инкассации. Система позволяет осуществлять в режиме реального времени непрерывный контроль за работой бригад инкассаторов, выдает предупреждения о возникновении внешних угроз при работе на маршрутах и контроль состояния водителя

Твои задачи:

  • Проводить рефакторинг, редизайн и поэтапную модернизацию legacy-систем
  • Разбираться в чужом коде, выявлять узкие места и устранять накопленный технический долг
  • Разрабатывать и внедрять новую продуктовую функциональность на базе Python 3, FastAPI и Django / DRF
  • Проектировать структуру баз данных в PostgreSQL, управлять схемами данных и миграциями через Django ORM и SQLAlchemy
  • Оптимизировать производительность сервисов: настраивать сложные SQL-запросы, работать с индексами, транзакциями и блокировками
  • Покрывать реализованный код модульными и интеграционными автотестами с использованием pytest
  • Интегрировать сервисы с внешними системами, брокерами сообщений (Kafka) и кэширующими слоями (Redis)
  • Участвовать в код-ревью и обсуждении архитектурных решений вместе с командой разработки

Что мы ждем от тебя:

  • Опыт работы с legacy, умение самостоятельно разбираться в чужом коде, находить узкие места и поэтапно модернизировать систему
  • Знание Python 3, опыт работы с асинхронным кодом (asyncio)
  • Владение FastAPI и Django / Django REST Framework (DRF)
  • Понимание работы реляционных БД (PostgreSQL): механизмы транзакций, уровни изоляции, блокировки, индексы, оптимизация сложных SQL-запросов и структуры таблиц
  • Опыт работы с SQLAlchemy и Django ORM
  • Практический опыт написания интеграционных и модульных тестов с использованием pytest
  • Понимание принципов чистой архитектуры, паттернов проектирования

Будет плюсом:

  • Практический опыт работы с брокерами сообщений (Apache Kafka или RabbitMQ)
  • Опыт использования Redis (кэширование, очереди, pub/sub)
  • Базовые навыки работы с контейнеризацией и оркестрацией (Docker, Docker Compose), опыт работы в CI/CD пайплайнах
  • Опыт профилирования приложений и мониторинга производительности в production

Что мы обеспечиваем:

  • Внутренние семинары, митапы, мы очень любим учиться новому
  • ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи
  • Технику для комфортной работы
  • Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудник
hh.ru
Зарплата не указанаРоссияМоскваГибрид

Мы ищем middle fullstack-разработчика (в основном разработка на python, но также есть немного фронтовых задач) в команду Data Ocean. Команда разрабатывает и поддерживает систему для управления большими данными + развивают data management портал с личными кабинетами команд разработки. Цель команды: автоматизировать процессы управления данными и их качеством, обеспечивать надёжность, производительность, безопасность и сопровождаемость решений.

Ценим командную работу, работаем в кроссфункиональных командах. По средам 1 раз в неделю встречаемся в офисе возле м. Войковская в Москве.

Задачи в этой роли:

  • Разрабатывать и сопровождать функциональность Data Ocean Governance: каталоги, реестры, карточки объектов и формы. Настраивать загрузку и актуализацию метаданных из систем Банка, контролировать полноту загрузок и обрабатывать ошибки;

  • Развивать модуль Data Quality: реализовывать проверки качества данных и обработку их результатов, развивать функциональность управления соглашениями об уровне качества данных (DQLA), мониторинга, уведомлений и маршрутизации инцидентов;

  • Разрабатывать серверную часть дата-портала на Python и FastAPI и пользовательские интерфейсы на Vue 3;

  • Развивать поиск, каталоги, формы заявок, дашборды и разделы профессионального сообщества;

  • Интегрировать платформу и дата-портал с системами Банка, автоматизировать маршруты согласования и обработки заявок, в том числе с использованием Camunda BPM;

  • Настраивать ролевую модель и разграничение доступа;

  • Участвовать в разработке AI-помощника и RAG-сервисов для поиска по базе знаний с учётом прав пользователей и требований информационной безопасности.

Необходимая экспертиза:

  • Опыт коммерческой разработки на Python от 3 лет;

  • Уверенное владение Python и SQL, возможность и готовность брать немного задач на фронт;

  • Опыт разработки серверных сервисов и REST API, работы с PostgreSQL как базой данных приложения и проектирования схем хранения прикладных данных;

  • Опыт реализации фоновых задач с использованием Celery и Redis;

  • Опыт разработки и сопровождения процессов загрузки и обработки данных в Apache Airflow;

  • Опыт работы с Groovy для расширения функциональности платформы и автоматизации процессов;

  • Навыки работы с Docker и Git. Понимание принципов CI/CD, логирования и мониторинга;

  • Опыт интеграции информационных систем, тестирования и сопровождения приложений в промышленной эксплуатации.

Будет преимуществом:

  • Опыт работы с Data Ocean Governance или аналогичными платформами, понимание задач управления метаданными и качеством данных;
  • Опыт работы с FastAPI, Camunda BPM, Elasticsearch или Keycloak;
  • Опыт работы с хранилищами данных и ETL/ELT-процессами;
  • Опыт разработки AI-помощников и RAG-сервисов.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.