advantage solutions

Senior Data Eningeer

Команда Data Engineering отвечает за Market Data Platform — lakehouse-инфраструктуру, которая покрывает весь путь данных: от сырых биржевых фидов до надёжного хранилища петабайтного масштаба для исследований, бэктестинга и торговли в реаль…

advantage solutions На сервисе с: 05.10.26 12:25

Зарплата не указанаРоссияМоскваУдалёнка

Команда Data Engineering отвечает за Market Data Platform — lakehouse-инфраструктуру, которая покрывает весь путь данных: от сырых биржевых фидов до надёжного хранилища петабайтного масштаба для исследований, бэктестинга и торговли в реальном времени.

Опыт работы с биржевыми данными не обязателен: ключевое для нас — сильная экспертиза в lakehouse-системах. Доменный контекст команда даст сама.

Обязанности:

  • Развивать lakehouse на Apache Iceberg over AWS S3: партиционирование и сортировка данных, эволюция схемы, snapshots, time travel, compaction, TTL, point-in-time correctness для reference data. Оптимизировать производительность запросов и стоимость хранения.
  • Строить batch- и streaming-пайплайны на Airflow, Spark и dbt для tick data и reference data.
  • Развивать сбор и нормализацию market data: биржевые фиды (PCAP, multicast UDP, ITCH, FIX) и данные провайдеров (OneTick, Refinitiv, Bloomberg, ICE), реконструкция L2/L3 order book, обработка пропусков и сверка данных.
  • Разрабатывать внутренние библиотеки и единый слой доступа к данным (Spark, Polars): управление схемами, data contracts, валидация, lineage.
  • Отвечать за мониторинг, алертинг, SLAs/SLOs и CI/CD на Kubernetes / EKS.
Требования:
  • 5+ лет опыта разработки систем обработки данных в продакшене
  • Практический опыт работы с крупными data lake / lakehouse-системами и понимание типичных проблем их эксплуатации
  • Опыт работы с Apache Iceberg или аналогичными табличными форматами (Delta, Hudi): партиционирование, эволюция схемы, snapshots, compaction, работа с каталогом.
  • Понимание внутреннего устройства Spark и Iceberg и опыт построения пайплайнов end-to-end, а не только работы поверх готовых фреймворков.
  • Сильный Python, включая опыт с Polars и/или PySpark.
  • Понимание Apache Arrow и колоночных форматов данных.
  • Опыт с Airflow и Apache Spark или аналогичными системами оркестрации и распределённой обработки.
  • Продвинутый SQL: сложные агрегации, оконные функции, оптимизация запросов, partition pruning.
  • Уверенное знание Linux, практический опыт с Docker, Kubernetes/ EKS, AWS S3.
  • Понимание принципов хранения и оптимизации структурированных, неструктурированных и бинарных данных: партиционирование, сжатие, управление стоимостью.
  • Английский от B2 — для работы с документацией и общения с международной командой.
Будет плюсом:
  • Опыт с market data или network packet capture: PCAP, ITCH, FIX/FAST, multicast UDP, реконструкция order book, time-series data.
  • Опыт нормализации market data из нескольких источников (OneTick, Refinitiv/Reuters, Bloomberg, ICE) в единую схему данных и symbology.
  • Опыт со StarRocks или другими аналитическими query engines.
  • Опыт с Terraform, ArgoCD, Grafana, Prometheus.
  • Знание Rust или опыт его использования для high-performance capture/decoding.
Условия:
  • Полностью удалённая работа с обязательным пересечением с командой с 12:00 до 18:00 по Москве (GMT+3).
  • Компенсация медицинской страховки, спорта и обучения.
  • Отсутствие бюрократии и реальная свобода в том, как выстраивать свою работу.
  • Возможность расширять зону ответственности по мере роста команды.

Похожие вакансии Data Engineer

hh.ru
Зарплата не указанаРоссияСанкт-ПетербургУдалёнка

TechCore - это команда профессионалов с многолетним опытом в разработке программного обеспечения. Мы помогаем клиентам на всех этапах создания цифровых решений, от концептуализации и дизайна до внедрения и поддержки.

За нашими плечами сотни реализованных проектов, поэтому мы не понаслышке знаем, какие трудности встречаются в процессе разработки, и умеем находить эффективные решения для любых задач.

Наши ожидания:

  • Значния Python
  • Базовая обработка данных (Numpy, Pandas)
  • Уверенное владение SQL (выше среднего)
  • Основы моделирования данных
  • Базовые понятия в БД (индексирование, партиционирование, ACID и т.п.)

Ну что, ты с нами? Ждем тебя в нашей команде!

hh.ru
domeo
Зарплата не указанаРоссияМоскваОфис

Компания DOMEO - Российская компания, лидер среди сервисов по капитальному ремонту и дизайну квартир и частных домов.
На рынке мы уже более 10 лет и на сегодняшний день представлены в трех городах Москва, Санкт-Петербург, Сочи.

Мы строим PIM-систему - единое хранилище всех товаров. Ищем Database Engineer, который спроектирует для нее базу данных.

Что предстоит делать:

  • Проектировать и поддерживать базы данных PostgreSQL;

  • Оптимизировать производительность: индексы, партиционирование, настройка БД;

  • Управлять миграциями (Alembic) с возможностью обновления без остановки;

  • Настраивать репликацию, бэкапы и мониторинг;

  • Дорабатывать продукт по итогам разбора инцидентов;

Требования:

  • Опыт проектирования схем БД для высоконагруженных систем;

  • Опыт работы с PostgreSQL от 3 лет;

  • Уверенное владение SQL (сложные запросы, оконные функции);

  • Опыт оптимизации производительности (индексы, EXPLAIN);

  • Понимание партиционирования больших таблиц;

  • Опыт работы с большими таблицами (миллионы записей);

  • Python (для скриптов и ETL);

  • Опыт с миграциями (Alembic / Flyway / Liquibase);

Будет плюсом:

  • Опыт мониторинга БД и разбора инцидентов;

  • Опыт нагрузочного тестирования;

  • Настройка репликации;

  • Docker, CI/CD;

  • Опыт в e-commerce, ритейле или PIM-системах;

Условия:

  • Формат работы: офисный;
  • График: на выбор - с 09:00 до 18:00 или с 10:00 до 19:00 (перерыв 1 час). Суббота, воскресенье и праздничные дни - выходные;
  • Офис: стильный и современный, в пешей доступности от метро «Шаболовская» (1 минута) и «Тульская» (15 минут);
  • Оборудованная кухня и уютные места для отдыха;
  • Для желающих - бесплатные занятия йогой в спортивном пространстве офиса;
  • Детская комната - если есть необходимость взять ребёнка с собой.
hh.ru
газпром нефть ит

Data Engineer junior+

газпром нефть итНа сервисе с: 05.10.26 10:41
Зарплата не указанаРоссияЕкатеринбургГибрид

В ООО "Газпромнефть-Региональные продажи" требуется дата-инженер

Обязанности:

  • Проектирование и реализация ELT/ETL-решений для загрузки сырых данных в Hadoop,
  • проектирование и реализация хранилищ и витрин данных в Hive, Hbase, SQL Server, PostgreSQL, Clickhouse и соответствующих ETL,
  • проектирование и реализация решений для межсистемной интеграции (rest, soap, MQ, ftp, etc) ,
  • оптимизация MVP-решения команд data scientist для переноса их в продуктив,
  • развитие архитектуры и оптимизация работы типовых решений на платформе,
  • участие в апробации и оптимизации новых компонент платформы,
  • анализ и оптимизация бизнес-требований, подготовка технической документации,
  • решение инцидентов эксплуатации систем и модулей.

Требования:

  • Опыт разработки решений на базе одной из СУБД: MSSQL Server,Oracle, PostreSQL, Clickhouse
  • Опыт интеграции с различными источниками данных (rest, soap, api, ftp, dfs, http, rdbms)
  • Участие в проектах построения корпоративного хранилища данных или BI системы для крупного бизнеса
  • ПО: Hadoop HBase/Hive/Spark/Scala, Informatica DEI/BDM/PC, Kafka
  • ЯП: SQL, Python
  • Командные оболочки: Bash, PowerShell
  • Devops: GitLab, Jira, Jenkins
  • Аналитический склад ума,
  • Умение работать в команде,
  • Умение быстро принимать верные решения в критических ситуациях,
  • Стремление к профессиональному росту

Условия:

  • Достойную заработную плату, годовую премию по результатам работы
  • Постоянный трудовой договор
  • Качественную программу ДМС со стоматологией с первого месяца работ
  • Неограниченный доступ к образовательному контенту на корпоративном портале знаний
  • Подписка на лучшие электронные библиотеки.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.