decart it-production

Data Engineer (финтех) (Python)

В нашей компании Decart IT мы относимся к специалистам как к партнёрам, и помогаем им не только зарабатывать, но и участвовать в проектах, которые мотивируют и вдохновляют.

decart it-production

↑ Вакансия с автоподнятием
от 240k ₽РоссияМоскваУдалёнка

В нашей компании Decart IT мы относимся к специалистам как к партнёрам, и помогаем им не только зарабатывать, но и участвовать в проектах, которые мотивируют и вдохновляют.

Все детали берём на себя: подбираем проект на основе твоих предпочтений, договариваемся с заказчиком о ставке, организовываем интервью и помогаем успешно пройти его, а также забираем на себя формальный документооборот. С тебя - только твоя экспертиза!

Сейчас мы ищем кандидатов на позицию Data Engineer!



Что нужно будет делать?

Зависит от проекта и этапа его жизненного цикла, но в целом:

  • Проектировать и разрабатывать production data pipelines для сбора, обработки и трансформации больших объемов данных (ETL/ELT);

  • Настраивать и поддерживать оркестрацию пайплайнов с использованием Apache Airflow;

  • Разрабатывать высоконагруженные обработчики потоковых данных на Spark/PySpark и Kafka;

  • Выполнять запросы и оптимизировать хранение данных в промышленных СУБД (PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL);

  • Поддерживать и развивать Data Warehouse (хранилища данных), работая со слоями DDS, DM (моделирование данных);

  • Обеспечивать надежность и отказоустойчивость существующих пайплайнов: мониторинг, отладка, рефакторинг и оптимизация производительности;

  • Участвовать в миграциях ETL/DWH систем (при наличии соответствующих проектов);

  • Внедрять практики Data Quality и контроля целостности данных на всех этапах обработки.

Что нужно уметь, знать, какими навыками обладать:

  • Уверенный коммерческий опыт разработки на Python (от 3–4 лет) с написанием поддерживаемого и документированного кода;

  • Глубокое знание SQL и опыт работы с промышленными БД (обязательно хотя бы с одной из: PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL);

  • Опыт разработки и сопровождения production data pipelines в продакшене;

  • Практическое использование Apache Airflow для оркестрации задач;

  • Опыт работы с Apache Spark/PySpark и потоковой обработкой Kafka;

  • Знание экосистемы Hadoop/Hive.

Будет плюсом:

  • Опыт с ETL-инструментами (Informatica/SAS DIS);

  • Работа с NiFi для построения потоков данных;

  • Хранение данных в форматах Parquet/ORC и работа с табличными форматами (Iceberg);

  • Опыт работы с облачными объектными хранилищами ( S3 или аналоги);

  • Навыки моделирования данных (Data Vault, Kimball, 3NF);

  • Опыт миграций ETL/DWH систем;

  • Настройка мониторинга и визуализации метрик (Grafana/Prometheus);

  • Контроль качества данных (Data Quality).

Что мы предлагаем:

  • Возможность выбирать проекты и заказчиков под твой запрос: будь то громкое имя компании для портфолио, интересные задачки, чтобы не терять хватку, или просто спокойная работа в привычном режиме;

  • Оформление ИП, самозанятость;

  • Можешь работать из любого места, где тихо и есть интернет (на территории РФ)

Присоединяйся к нашей команде, чтобы узнать, что такое по-настоящему человекоцентричный аутстаффинг. Ждём тебя!

Похожие вакансии Data Engineer

Соц.сети

Lead Data Platform Engineer

от 400k ₽РоссияМоскваГибрид

#вакансия #DataPlatform #Lead #Python #FastAPI #Airflow #Kubernetes #Ceph #GitLab #биоинформатика #Москва #гибрид #•••••••• #DataEngineering

Вакансия: Lead Data Platform Engineer
Компания: ••••••••
Формат работы: офис в Москве (после испытательного срока возможен гибрид)
Вилка ЗП: от 400 000 ₽ (обсуждается индивидуально)
Локация и гражданство: Москва, РФ
Оформление: ТК РФ
Компания занимается молекулярно-генетическими исследованиями в онкологии, микробиологии, иммунологии, инфекционных заболеваниях, разработкой лекарств и тест-систем. Работа на стыке медицины, генетики и IT.

🗝 Задачи:
Проектировать масштабируемую, надёжную и производительную архитектуру единой платформы данных
Разрабатывать и сопровождать техническую дорожную карту платформы, синхронизированную с бизнес-целями и потребностями исследователей
Анализировать и обеспечивать scalability, reliability и performance ключевых компонентов
Проектировать и внедрять системы оркестрации многоэтапных пайплайнов обработки данных
Разрабатывать ключевые компоненты платформы: панель управления, оркестраторы, агенты, API, SDK
Создавать и развивать self-service инструменты для дата-инженеров и аналитиков
Обеспечивать мультитенантность, разграничение доступа и аудит-логирование
Обеспечивать целостность, надёжность и безопасность данных на всех этапах
Оптимизировать использование вычислительных и storage-ресурсов (capacity planning, performance benchmarking)
Развивать observability: мониторинг, APM, алертинг
Формировать и внедрять технические стандарты платформенной команды
Систематизировать процессы разработки, унифицировать стек и инструментарий
Вести техническую документацию по платформенным сервисам и архитектурным решениям

🔨 Требования (обязательные):
Опыт проектирования горизонтально масштабируемых, отказоустойчивых data-intensive систем на bare-metal/VM и/или в Kubernetes
Понимание архитектурных компромиссов и умение выбирать решения под конкретные нагрузки
Уверенное владение Python
Опыт разработки бэкенд-сервисов и API с использованием FastAPI
Опыт работы с оркестраторами пайплайнов: Airflow, Dagster и другие
Понимание HTC/HPC-систем
Опыт работы с распределёнными системами хранения: Ceph (CephFS), S3-совместимыми хранилищами
Понимание объектного и файлового хранения для нагрузок с интенсивной обработкой данных
Опыт построения CI/CD-пайплайнов в GitLab
Способность принимать и аргументировать системные архитектурные решения
Опыт формирования технических стандартов: архитектурные принципы, code review, инженерная документация, практики эксплуатации

💫 Будет плюсом:
Опыт разработки на Go
Глубокое понимание Kubernetes: рабочие нагрузки, операторы, сетевые политики, безопасность
Опыт работы с планировщиками типа Slurm
Опыт работы с Singularity/Apptainer контейнерами
Опыт в домене биотехнологий/биоинформатики и понимание специфики рабочих нагрузок

💎 Условия:
Оформление по ТК РФ
Достойный уровень з/п, обсуждается индивидуально в зависимости от навыков
Работа в быстрорастущей, стабильной организации, которой не страшен кризис
Команда профессионалов на стыке передовых ИТ и науки
Только современное оборудование для рабочих мест
Возможность профессионального роста, обучение
График 5/2, офис в Москве, после испытательного срока возможен гибрид
Отклик с резюме: •••••••• с пометкой DATA

Сайты компаний
СБЕР

Tech Lead (DataAPI)

СБЕР
Зарплата не указанаРоссияМоскваОфис

SberData — подразделение Сбера, которое занимается разработкой инфраструктуры для поставки, хранения и обработки данных. Наша команда развивает инструменты для разработки data-продуктов (моделей, витрин, ad-hoc аналитики) в Enterprise-среде в рамках корпоративной аналитической платформы. Мы разрабатываем сервис DataAPI — высокотехнологичное решение, которое выступает мостом между корпоративными хранилищами данных и современными LLM-приложениями (автономными AI-агентами).

Задачи:

  • формировать техническое видение и дорожную карту развития DataAPI; участвовать в определении приоритетов совместно с продуктовым менеджером, аналитиками и стейкхолдерами
  • проектировать архитектуру сервиса и его ключевых компонентов, принимать и согласовывать технические решения, оценивать их влияние на масштабируемость, надежность, безопасность и стоимость эксплуатации
  • разбирать сложные продуктовые и интеграционные задачи на технические решения и задачи; определять зависимости, риски и необходимые ресурсы
  • участвовать в разработке ключевых компонентов сервиса, проводить code review, контролировать соблюдение инженерных стандартов, качества кода, тестирования и документирования
  • обеспечивать надежность, наблюдаемость и эксплуатационную готовность сервиса: участвовать в разборе инцидентов, выявлении узких мест, формировании мер по их устранению и предотвращению повторений
  • развивать практики CI/CD, автоматизированного тестирования, релизного процесса и управления техническим долгом
  • выступать техническим экспертом при взаимодействии с разработчиками, DevOps-инженерами, системными аналитиками, командами безопасности, инфраструктуры и смежными продуктовыми командами
  • коммуницировать технические решения, ограничения и риски как техническим, так и нетехническим стейкхолдерам; участвовать в презентациях продукта и в приемо-сдаточных испытаниях.

Требования:

  • опыт проектирования микросервисных, высоконагруженных или enterprise-решений от 5 лет, в т.ч. опыт на позиции технического лидера/ведущего разработчика/главного DevOps-инженера или архитектора от 2 лет
  • глубокое понимание принципов проектирования распределенных систем: API, интеграций, отказоустойчивости, идемпотентности, обработки ошибок, безопасности и производительности
  • практический опыт разработки на Python, Go и/или Java, умения принимать архитектурные решения и проводить качественный code review
  • опыт работы с реляционными и нереляционными базами данных и распределёнными хранилищами, включая проектирование моделей данных, оптимизацию запросов и эксплуатационные аспекты
  • опыт построения и сопровождения CI/CD-процессов, контейнеризированных приложений и сервисов в Kubernetes
  • опыт ведения технической документации: архитектурных решений, схем интеграций, API-контрактов и проектной документации
  • опыт взаимодействия с заказчиками, аналитиками, DevOps, тестированием и другими смежными командами.

Будет плюсом:

  • опыт работы с Data Lake, аналитическими платформами или ML/AI-продуктами.
  • пнимание архитектуры LLM-приложений, AI-агентов и специфики предоставления им доступа к корпоративным данным.
  • опыт внедрения продуктов в корпоративной инфраструктуре заказчика.
  • опыт проведения технических демо и консультирования клиентов.
  • опыт управления распределенной командой или координации работы нескольких инженеров.

Мы предлагаем:

  • комфортный современный офис в Москве: БЦ Даниловский форт, рядом с М.Тульская, Верхние котлы
  • возможность выбрать удобный график – офис/гибрид
  • ежегодный пересмотр зарплаты, годовая премия
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
  • подписка Прайм с возможностью совместного использования на трёх близких
  • вознаграждение за рекомендацию друзей в команду Сбера.
Эта вакансия также есть на:hh.ru
hh.ru
коммерсантъ

Аналитик-разработчик

коммерсантъ
Зарплата не указанаРоссияМоскваГибрид

Издательский дом «Коммерсантъ» — ведущее деловое медиа России. Мы управляем сложной IT-инфраструктурой, включающей большой объём данных, облачные решения и сервисы для внутренних и внешних продуктов (kommersant.ru, autopilot.ru, myweekend.ru). В связи с развитием цифровых продуктов и аналитических сервисов мы ищем аналитика-разработчика, готового работать с данными, ETL-пайплайнами и AI-технологиями.

Чем предстоит заниматься:

  • Сбор, обработка и анализ данных Яндекс.Метрики и внутренних систем.
  • Создание ETL-пайплайнов, витрин данных и регулярной отчётности.
  • Разработка парсеров и интеграций с внешними API.
  • Построение классических ML-моделей для целей аналитики.
  • Создание аналитических ИИ-агентов.
  • Контроль качества, полноты и актуальности данных.
  • Поддержка аналитических сервисов и автоматизированных отчётов.

Наши ожидания:

  • Высшее образование (техническое, математическое).
  • Уверенное знание SQL и Python.
  • Практический опыт работы с ClickHouse.
  • Опыт работы с Яндекс.Метрикой, включая API и Logs API.
  • Опыт разработки ETL-пайплайнов.
  • Опыт написания веб-парсеров и интеграций с API.
  • Понимание аналитических метрик и принципов построения витрин данных.
  • Опыт создания ИИ-агентов или LLM-интеграций.

Будет вашим преимуществом:

  • Знание Airflow и других инструментов оркестрации.
  • Docker, PM2, FastAPI.
  • Redash, Superset, DataHub.
  • Selenium и автоматизация работы с веб-интерфейсами.
  • PostgreSQL, Redis, Qdrant.
  • RAG, MCP и работа с LLM API.
  • Опыт работы с большими объемами медиаданных.

Мы предлагаем:

  • График работы: 5/2, гибрид.
  • Оформление по трудовому договору.
  • Стабильность и прозрачность в отношении заработной платы.
  • Испытательный срок 3 месяца. По окончании испытательного срока Вы сможете подключиться к программе добровольного медицинского страхования и другим опциям социальной политики в Обществе.
  • Доброжелательную атмосферу, команду профессионалов в digital.
  • Работу в бизнес-центре класса А с развитой инфраструктурой (офис в 5 минутах от м. «Маяковская», кафе и магазины, зоны отдыха внутри здания).

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.