Ф

Главный инженер-программист (Data Engineer / ML Engineer) (Python, Java)

Проектирование и разработка ETL/ELT-пайплайнов: сбор, обработка и трансформация больших объёмов данных из различных источников (API, баз данных, логов, внешних систем) в хранилище.

фгку центр информационных технологий

↑ Вакансия с автоподнятием
Зарплата не указанаРоссияТверьОфис

Чем предстоит заниматься

  • Проектирование и разработка ETL/ELT-пайплайнов: сбор, обработка и трансформация больших объёмов данных из различных источников (API, баз данных, логов, внешних систем) в хранилище.
  • Разработка и сопровождение ML-пайплайнов: автоматизация процессов обучения, валидации, деплоя и мониторинга моделей машинного обучения (MLOps). Внедрение моделей в продуктовую среду через API-сервисы (REST, gRPC).
  • Работа с данными: написание высокопроизводительных SQL-запросов, оптимизация работы с большими таблицами (миллиарды строк, терабайты данных), партиционирование, индексация, настройка кластеров.
  • Поддержка инфраструктуры: сопровождение кластеров баз данных, очередей сообщений (Kafka, RabbitMQ), объектных хранилищ. Участие в выборе технологий и проектировании архитектуры решений.
  • Оптимизация производительности: устранение узких мест в пайплайнах, профилирование и тюнинг запросов, настройка параметров сред выполнения (JVM, Python, контейнеры).
  • Разработка и рефакторинг кода: написание высококачественного кода на Python, Java, Scala или Go. Чтение и правка чужого кода, рефакторинг легаси-решений.
  • Ведение технической документации: описание архитектурных решений, схем данных, API-интерфейсов, инструкций по развёртыванию и эксплуатации сервисов.

Требования

  • Опыт в инженерии данных от 3+ лет: разработка и поддержка ETL-процессов в продакшене, работа с большими объёмами данных.
  • Опыт разработки на Python: уверенное владение Python для написания пайплайнов, API-сервисов, скриптов обработки данных. Опыт работы с Pandas, NumPy, PySpark, Dask.
  • Глубокое знание SQL: сложные запросы, оконные функции, оптимизация, работа с различными СУБД (Oracle, PostgreSQL, ClickHouse, Greenplum).
  • Опыт работы с распределёнными системами: понимание архитектуры и принципов работы ClickHouse, Apache Spark, Hadoop. Настройка кластеров, управление ресурсами.
  • Опыт построения ML-пайплайнов: работа с фреймворками машинного обучения (scikit-learn, XGBoost, LightGBM, CatBoost), опыт внедрения моделей в продукт.
  • Опыт работы с облачными технологиями и контейнеризацией: Docker, Kubernetes, Yandex Cloud, AWS, GCP или аналоги.
  • Понимание архитектуры микросервисов: опыт разработки REST/gRPC API, работа с очередями сообщений (Apache Kafka, RabbitMQ).
  • Системное мышление: умение видеть систему целиком, понимание компромиссов между производительностью, стоимостью и надёжностью.
  • Работа с кодировками и локализацией: понимание работы с многобайтовыми кодировками (UTF-8), проблемы с данными из разных источников.

Будет плюсом

  • Опыт работы с MLOps-инструментами (MLflow, Kubeflow, Airflow для управления пайплайнами, DVC для версионирования данных и моделей).
  • Опыт разработки на Java, Scala, Go для высоконагруженных систем.
  • Опыт работы с NoSQL-базами (MongoDB, Redis, Cassandra, Elasticsearch).
  • Знание Data Lake / Data Lakehouse архитектур (Delta Lake, Iceberg, Hudi).
  • Опыт работы с BI-инструментами (Power BI, Tableau, DataLens) для валидации данных на выходе из пайплайнов.
  • Опыт миграции систем между платформами и версиями (например, с on-premise в облако, с Hadoop на ClickHouse).
  • Опыт работы с Git и CI/CD (GitLab CI, Jenkins, GitHub Actions).
  • Опыт менторства младших инженеров, проведение Code Review.
  • Знание Oracle BI EE (репозиторий и его слои, Administration Tool, веб-каталог, пулы соединений).
  • Архитектурное проектирование: опыт проектирования систем с нуля, выбор технологического стека, оценка стоимости владения (TCO), разработка стратегии масштабирования.
  • Безопасность: глубокое понимание вопросов безопасности данных, управление доступом, шифрование, аудит.
  • Управление командой: опыт руководства командой инженеров (от 3 человек), распределение задач, участие в найме, проведение техсобеседований.
  • Стратегическое планирование: участие в дорожной карте развития платформы данных на 1-2 года вперёд.

Мы предлагаем

  • Оформление по ТК РФ, полный социальный пакет. Конкурентная заработная плата (обсуждается по итогам собеседования). Интересные проекты федерального масштаба — информационные системы ФТС России.

Похожие вакансии Data Engineer

hh.ru
СБЕР

Tech Lead Data engineer

СБЕР
до 500k ₽РоссияМоскваОфис

Наша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C - централизованное и эталонное место хранения данных. Мы ищем сильного инженера данных для работы с крупными распределенными системами. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink. Вам предстоит работать с высоконагруженными системами, потоковой обработкой и участвовать в построении единого хранилища данных компании.

Обязанности

  • разработка и оптимизация витрин данных: Проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum. Обеспечение высокой производительности и отказоустойчивости пайплайнов.
  • потоковая обработка данных (RT и NRT): Разработка и поддержка стриминговых пайплайнов. Построение NRT пайплайнов обработки данных из Kafka в Apache Iceberg (Kafka2Iceberg) и RT пайплайнов между Kafka (Kafka2Kafka) с использованием Apache Flink и Spark Structured Streaming.

Архитектура данных:

  • активное участие в разработке архитектуры решения потоковой обработки данных Data Streamhouse данных для обеспечения
  • разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg (оптимизация партиционирования, compaction, time travel).

Инженерные практики:

  • реализация механизмов инкрементальной загрузки данных для минимизации времени обработки и нагрузки на источники
  • разработка и документирование API (на Java или Scala) для доступа к данным витрин и сервисам семантического слоя

Производительность и качество:

  • глубокая оптимизация Spark-приложений, включая использование векторного движка Gluten/Velox для ускорения рабочих нагрузок
  • разработка решений для сверки и контроля качества данных (Data Quality) с использованием Spark и Python.

DevOps и CI/CD: Внедрение разработанных решений в продуктовую среду. Настройка пайплайнов сборки и деплоя в Jenkins, управление зависимостями задач в Oozie или современных оркестраторах.

Коммуникация: Взаимодействие с внутренними бизнес заказчиками для уточнения и согласования требований, презентация доработок сервиса.

Требования

  • уверенное владение языками: SQL, Java (или Scala), Python (как вспомогательный для ad-hoc анализа и DQ).
  • глубокое понимание экосистемы Apache Hadoop (HDFS, YARN) и опыт работы с ней в продакшене.
  • опыт разработки пайплайнов на Apache Spark (Core, SQL, Structured Streaming) уровня не ниже middle.
  • опыт работы с потоковыми данными: Apache Kafka (как источник/приемник) и хотя бы одним фреймворком стриминговой обработки (Apache Flink или Spark Streaming).
  • понимание форматов хранения данных (Parquet, ORC, Avro) и современных подходов к управлению Data Lakehouse (обязательно знание Apache Iceberg).
  • опыт оптимизации производительности Apache Spark (настройка ресурсов, устранение перекосов данных, работа с memory, оптимизация shuffle).

Будет большим плюсом:

  • опыт внедрения промышленных пайплайнов пакетной передачи данных.
  • опыт внедрения промышленных пайплайнов потоковой передачи данных.
  • опыт внедрения Gluten/Velox или аналогичных векторизованных движков.
  • навыки сборки и развертывания Doker-образов приложений.

Условия

  • офисный формат работы (м Кутузовская ул. Поклонная 3)
  • годовая премия
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • регулярные митапы и развитое DS-community
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
  • подписка Прайм с возможностью совместного использования на трёх близких
  • вознаграждение за рекомендацию друзей в команду Сбер.
hh.ru
beeline, тм

Data analytics-инженер

beeline, тм
Зарплата не указанаКазахстанАлматыОфис
Обязанности:
  • Анализ больших объемов данных, формирование витрин и отчетов.
  • Взаимодействие с отделами бизнеса и клиентов.
  • Разработка и поддержка витрин данных для нужд Data Science проектов
  • Разработка триггеров для бизнеса
  • Разработка дашбордов для мониторинга
Требования:
  • Знание SQL, Pyspark, Python, git.
  • Способность к критическому мышлению и решению проблем.
  • Умение эффективно работать в команде.
  • Четкая документация результатов работы и задач от заказчика.
  • Коммуникабельность и ответственность.
  • Ownership и умение реализовывать задачи end-to-end.
  • Знание Data Science будет плюсом.

В сопроводительном письме, пожалуйста, укажите свои зарплатные ожидания, спасибо! ❤️

Наши условия ниже :)

​​​​​​

Сайты компаний

Data Engineer

Автоподнятие
166k–248k ₽Не указана странаЛокация не указана
Текст:
Оригинал доступен только пользователям с подпиской

Location

Work from offices in Cyprus, Armenia, or Kazakhstan, or fully remote; employment is not available in Russia or Belarus.

About the company

An international game development company focused on bringing core gaming experiences to casual players. It operates as part of a larger holding of game studios and works across multiple countries.

Responsibilities

  • Design and build batch and streaming data pipelines, including ingestion from internal and external sources
  • Own and evolve the Bronze and Silver layers of the data platform, developing data lake and data warehouse models
  • Optimize Spark-based processing, maintain dbt models and data contracts, and support Kafka streaming pipelines
  • Implement monitoring, observability, and data quality checks while collaborating with analytics, marketing, platform, and backend teams

Requirements

  • 5+ years of data engineering experience with strong SQL and Python skills
  • Production experience building ETL/ELT pipelines and hands-on work with Spark/PySpark, including streaming
  • Knowledge of distributed data processing and storage, data lake and data warehouse architectures, Delta tables, Parquet, and S3
  • Practical experience with orchestration tools such as Airflow, Kafka streaming, and maintaining production-grade pipelines with observability and data quality practices

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.