Вакансии Data Engineer и инженера данных
Построение потоков данных, хранилищ и ETL/ELT-пайплайнов. Анализ данных и моделирование представлены в соседних разделах. Обновляется каждый час. Найдено: 105 вакансий за последнюю неделю.
- Вакансий за неделю:
- 105
- Медиана:
- 300 000 ₽
- Вилка:
- 200 000 ₽ — 395 000 ₽
Зарплаты — по 109 вакансиям с указанной вилкой за 30 дней
Поиск вакансий
HireSeeker — агрегатор вакансий. Собираем вакансии со всех основных площадок и показываем по вашей специальности. Подпишитесь на ежедневную подборку только релевантных.
Founding Engineer ••••••••
Ребята активно ищут🔥
📍Remote (с дальнейшей релокацией в EU / UK / USA - по желаниям кандидата)
💸️️️️️️ до 8-12k$ + опционы
💎️️️️TypeScript, Next.js, Postgres, LLM API, Claude Code и Codex
🚀Фаундеры — ••••••••
•••••••• — стартап из кремниевой долины, $10M+ ARR, быстрый рост, создают AI-агентов для маркетинга. Среди клиентов - Adidas, DuoLingo, Huel, Uber Eats.
Размер команды — 10-50
Узнать подробнее: ••••••••
🤝️️️️️️ Откликнуться: заполните форму внизу страницы с вакансией (при отклике укажите, пожалуйста, что вы из ••••••••)
#ETL #Senior #разработчик #удаленно #РФ #РБ
Компания: ••••••••
Роль: ETL-developer
Грейд: senior
Локация: РФ, РБ
Формат: удаленно, по ИП/СмЗ
Ставка: рассмотрим вашу
Срок привлечения: 12 мес.
Описание проекта: Перенос функциональности ЦФТ на КХД в рамках импортозамещения ЦФТ.
КХД – аналитическое корпоративное хранилище данных.
Калькулятор решает следующие задачи:
- ежедневный автоматизированный расчёт отчетов;
- подготовки и формирования отчетных витрин для принятия решений и управления во внутренних процессах;
- внедрения процессов контроля и улучшения качества данных, повышение качества данных в системах-источниках;
- обеспечение возможностей аудируемости и валидации полученных в ходе расчетов данных.
Требования:
- Общий технологический стек:
Oracle, Informatica, PostgreSql, S3, Spark
- Коммерческий опыт работы от 5 лет;
- Опыт работы в банковском проекте;
- Опыт разработки на Oracle;
- Опыт разработки DAG на Airflow;
- Знание SQL (JOIN, индексы, агрегатные функции, навыки оптимизации);
- Опыт работы с реляционными БД (PostgreSQL, Oracle);
- Опыт разработки и поддержки ETL/ELT-процессов: извлечение данных из различных источников, трансформация и загрузка в хранилище;
- Знание Git и умение работать с ветками (GitFlow)
Для резюме ••••••••
Локация
Алматы, работа в офисе в центре города.
О компании
Крупнейшая мультикатегорийная e-commerce платформа Казахстана, обслуживающая сотни тысяч заказов ежедневно.
Команда занимается данными, оптимизацией и построением качественных BI-решений.
Что нужно делать
- Собирать и анализировать бизнес-требования, разбираться в проблематике кейсов и обсуждать задачи и гипотезы с заказчиками
- Проектировать витрины данных и модели отчётности, ставить задачи на разработку детальных витрин для BI-инструментов
- Строить сводные таблицы, графики и интерактивные дашборды в Qlik Sense на основе детальных данных
- Участвовать в тестировании решений и разборе инцидентов
Требования
- Коммерческий опыт от 2 лет, уверенное владение SQL с оптимизацией запросов и написание PL/SQL процедур и функций
- Понимание архитектуры Oracle БД, принципов нормализации и денормализации данных
- Опыт построения витрин данных и ETL-процессов, понимание архитектуры BI-решений
- Практика с Qlik Sense (скрипты загрузки, set analysis, master items, интерактивные визуализации) и Python (pandas, numpy, автоматизация ETL и интеграций)
Наша команда работает над созданием единой модели данных и ролевой модели аналитической платформы для управления эффективностью организации. Данное решение позволит формировать стратегию и ставить цели, планировать, прогнозировать и контролировать исполнение планов, рассчитывать премии сотрудников.
Решение предназначено для более 10 тысяч пользователей, содержит сотни сервисов и десятки терабайт данных. Мы разрабатываем ядро аналитической платформы – общие технологические сервисы для разработчиков и low/no-code инструменты для аналитиков в части реализации бизнес-логики.
Целевой технологический стек: React, Java, Python, JavaScript, ClickHouse, GreenPlum, Spark, PostgreSQL, k8s, Apache SuperSet, а также ряд собственных готовых решений Сбера.
Задачи:
- брать на себя ответственность за:
- достижение бизнес и ИТ целей продукта
- технологическую составляющую продукта и его развитие
- техническое состояние, надежность и стабильность работы систем
- разработка и исполнение ИТ стратегии развития продукта
- повышение эффективности процессов разработки, тестирования, внедрения и сопровождения
- прототипирование решений и подходов
- планирование и контроль достижения целей
- выстраивание взаимодействия с кросс-командами, выявление и устранение проектных и кросс-проектных ИТ рисков
- коммуникация с командами и формирование видения целевой архитектуры
- cсинхронизация команд в части подходов, видения и стандартов проектирования и разработки
- выявление ИТ рисков и организация мероприятий по их митигации
- управление техническим долгом
- подбор, развитие компетенции сотрудников, управление их мотивацией и карьерными треками.
Мы ожидаем:
- опыт разработки или внедрения ПО от 5х лет в роли архитектора или руководителя команды в условиях взаимодействия с несколькими смежными командами
- опыт разработки концептуальной, логической и физической моделей функциональной, технологической архитектуры, архитектуры данных, архитектуры приложения аналитической системы (Big Data, Data Mining, Machine Learning, GreenPlum, MDM)
- опыт работы с классическими BI-системами (Tableau, QlikView, SAP BW, Hyperion, Cognos) или open-source решениями (Superset) или российскими BI-решениями
- опыт описания взаимодействия компонентов (Apache Airflow, Kafka cluster, Spark, хранилище данных).
- опыт создания шаблонов проектирования IT архитектуры по доменам архитектуры данных, архитектуры приложений, технологической архитектуры, архитектурных принципов в соответствии стандартам и рекомендациям методологии TOGAF для формирования единого подхода в архитектуре
- опыт руководства командой от 10 чел
- опыт внедрения AI PDLC – использования AI на разных шагах и этапах производственного процесса.
Мы предлагаем:
- конкурентная заработная плата: оклад + бонусы
- масштабные и интересные задачи в agile команде
- ДМС для сотрудников и скидки на медицинскую страховку для родственников
- бесплатный тренажерный зал и спортивные групповые занятия
- дисконт-программы от компаний партнеров: фитнес, страхование, туризм
- обучение и тренинги
профессиональный и позитивный коллектив.
Обязанности:
- Разработка и сопровождение ETL/ELT-процессов и потоков обработки данных (Batch / Real-Time).
- Разработка и оптимизация SQL-запросов, процедур и аналитических витрин в DWH.
- Участие в развитии архитектуры DWH, моделировании данных и оптимизации хранения.
- Разработка и сопровождение интеграций с использованием Kafka, NiFi, CDC и REST API.
- Разработка Python-скриптов для обработки данных, автоматизации и интеграций.
- Мониторинг, диагностика и оптимизация процессов загрузки и обработки данных.
- Обеспечение качества данных, участие в Code Review и CI/CD.
Требования:
- Опыт работы в Data Engineering / DWH от 3 лет.
- Уверенное знание SQL и опыт работы с Greenplum, PostgreSQL или Oracle.
- Понимание архитектуры DWH, принципов моделирования данных, ETL/ELT и MPP.
- Опыт разработки ETL-процессов (Informatica PowerCenter, Airflow или аналоги).
- Знание Python и принципов работы REST API (HTTP, JSON).
- Опыт работы с Kafka и/или NiFi, понимание CDC и потоковой обработки данных.
- Навыки оптимизации SQL, работы с Linux и Git.
Будет преимуществом:
- Опыт работы со StarRocks, YMatrix или ClickHouse.
- Знание Informatica PowerExchange CDC, Debezium или IBM CDC.
- Опыт работы Flink, Spark/PySpark.
- Знакомство с FastAPI, Flask, Docker и CI/CD.
- Опыт разработки решений для банковских систем.
Мы предлагаем:
- Работу над развитием корпоративной Data Platform крупного банка.
- Участие в проектах DWH, Real-Time Analytics и интеграции данных.
- Возможность работать с современным стеком Data Engineering и развивать профессиональные компетенции.
Обязанности:
- Проектирование, разработка и развитие архитектуры корпоративного DWH и Real-Time Data Platform.
- Разработка и оптимизация высоконагруженных ETL/ELT-процессов и потоков обработки данных (Batch / Real-Time).
- Проектирование моделей данных, аналитических витрин и механизмов хранения в MPP-системах.
- Проектирование и реализация интеграций с использованием Kafka, NiFi, CDC и REST API.
- Разработка сервисов предоставления данных с использованием Python и современных фреймворков.
- Оптимизация производительности SQL, ETL и потоковой обработки данных.
- Обеспечение отказоустойчивости, масштабируемости, качества данных и соблюдения SLA.
- Разработка технических решений, проведение Code Review и внедрение инженерных стандартов.
- Техническое наставничество инженеров и взаимодействие с архитекторами и смежными командами.
Требования:
- Опыт работы в Data Engineering / DWH от 4–5 лет.
- Экспертное владение SQL, опыт работы с Greenplum, StarRocks, PostgreSQL и/или Oracle.
- Глубокое понимание архитектуры DWH, MPP, моделирования данных и ETL/ELT.
- Опыт проектирования и оптимизации сложных ETL-процессов (Informatica PowerCenter, Airflow или аналоги).
- Уверенное владение Python, опыт разработки интеграций и REST-сервисов (FastAPI / Flask или аналоги).
- Практический опыт работы с Kafka и/или NiFi, понимание CDC, Event-Driven Architecture и потоковой обработки данных.
- Знание принципов распределённых систем, идемпотентности, обработки ошибок и восстановления данных.
- Опыт оптимизации SQL, анализа производительности и работы с большими объёмами данных.
- Уверенные навыки работы с Linux, Git и CI/CD.
- Опыт проектирования технических решений и проведения Code Review.
Будет преимуществом:
- Практический опыт с Informatica PowerExchange CDC, Debezium или IBM CDC.
- Знание Apache Flink, Spark/PySpark.
- Опыт разработки Data Engineering-фреймворков и переиспользуемых компонентов.
- Опыт работы с Docker, Kubernetes, Redis, S3 / MinIO.
- Опыт построения высоконагруженных сервисов предоставления данных и Real-Time Analytics.
- Опыт интеграции Data Platform с ML/AI-сервисами.
- Опыт работы в банковской или финансовой сфере.
Мы предлагаем:
- Участие в развитии корпоративной Data Platform крупного банка.
- Работу над архитектурой DWH, Real-Time Analytics и высоконагруженными сервисами данных.
- Возможность влиять на технологические решения, инженерные стандарты и развитие платформы.
- Работу с современными технологиями Data Engineering и распределёнными системами.
GigaDataGateway — это единая точка доступа ко всем данным, знаниям и AI-возможностям компании. Система поддерживает обслуживание десятков внутренних команд и позволяет оптимизировать модели на основе опыта работы с внешними и внутренними источниками. Проектируешь сервисы и инфраструктуру будущего? Присоединяйтесь!
• развивать сервисы GigaDataGateway на Python,
• проектировать и реализовывать REST/gRPC API для внутренних клиентов,
• интегрироваться с разными источниками данных,
• создавать модули авторизации, аутентификации, контроля доступа и логирования,
• работать над повышением производительности, отказоустойчивости и масштабируемости,
• участвовать в код-ревью и формировании технических практик.
имеешь коммерческий опыт разработки на Python от 7 лет,
• обладаешь глубокими знаниями FastAPI/aiohttp/gRPC,
• знаешь основы проектирования архитектур сервисов и API-шлюзов,
• отлично разбираешься в многопоточности, асинхронности, очередях и распределённых системах,
• работал с высоконагруженными системами и улучшал производительность,
• уверенно владеешь SQL и аналитическими базами данных (ClickHouse, PostgreSQL),
• строил масштабируемые решения на Kafka/RabbitMQ,
• применял принципы DDD, Clean Architecture, SOLID,
• имел опыт наставничества и технического лидерства в команде,
• знаком с инструментами CI/CD, Kubernetes, мониторинга (Prometheus/Grafana, ELK/ClickHouse+Metabase).
Будет плюсом:
• опыт создания универсальных API-шлюзов или data API,
• работа с ML/AI-сервисами (интеграция моделей в API),
• интеграция с внешними системами через REST API/gRPC/GraphQL,
• участие в проектировании корпоративных дата-платформ.
• работу в новом стратегическом проекте компании,
• влияние на архитектуру и выбор технологических решений,
• современные практики разработки (CI/CD, GitLab, Docker/Kubernetes),
• конкурентоспособную оплату труда (оклад плюс годовая премия),
• гибкий график и гибридный формат работы,
• официальное оформление по Трудовому кодексу РФ,
• комфортный офис с зоной отдыха и корпоративным спортзалом,
• обучение и развитие навыков,
• расширенный полис ДМС с первого рабочего дня и страховка для членов семьи,
• бонусы за рекомендации сотрудников.
Привет! Это команда разработки DWH. Мы занимаемся созданием ETL процессов с использование Airflow, Vertica, Hadoop, Trino. Строим аналитическое хранилище DWH с использованием якорной модели. Занимаемся оптимизацией запросов, помогаем пользователям находить нужные данные. В команду направления хранения и обработки данных Ozon Tech ищем стажёра DWH-разработчика.
Наш стек
Trino, Vertica, Hadoop, Spark, Jupyter Notebook, Python, Airflow, Docker.
Вы будете
Профилировать данные различных областей: продажи, учёт, логистика, маркетинг.
Разрабатывать и развивать ETL-системы доставки, очистки и преобразования данных с помощью Airflow, Python и SQL.
Заниматься мониторингом, расследованием и исправлением инцидентов в pipline.
Оптимизировать запросы SQL.
Реализовывать масштабируемое хранилище на базе Vertica, Trino, Hadoop.
Нам важно
Статус действующего студента технической специальности.
Теоретические знания баз данных (включая нормальные формы).
Базовые навыки работы с SQL (SELECT-запросы с WHERE, ORDER BY и GROUP BY), оконные функции.
Понимание логики работы JOIN разных типов.
Базовые знания Python и способность реализовывать логические алгоритмы.
Будет плюсом
Навыки работы с Bash.
Навыки работы с Docker.
Примеры своих учебных, pet- или коммерческих проектов на GitHub.
- Разработка и оптимизация архитектуры Хранилища данных, проектирование слоев данных;
- Создание, поддержка и оптимизация высоконагруженных ETL-процессов;
- Интеграция данных из внутренних/внешних источников (API, файловые хранилища, БД);
- Работа с BigData и стримингом;
- Коммуникация с бизнес-аналитиками и формализация требований, дата-инженерами и архитекторами;
- Проведение код ревью и шеринг экспертизы с коллегами (проведение митапов, техническая консультация).
- Опыт в разработке и поддержке хранилищ данных от 5 лет;
- Отличные знания SQL, опыт оптимизации сложных запросов и работы с большими объёмами данных;
- Опыт проектирования и разработки ETL-процессов;
- Опыт разработки real-time и near real-time pipeline’ов обработки/загрузки данных;
- Глубокие знания и практический опыт работы с Hadoop (HDFS, Hive, Spark);
- Опыт работы с Airflow и Docker;
- Опыт работы с GIT;
- Уверенные знания Python.
Альфа-Селлер — платформа для управления онлайн-бизнесом от Альфа-Банка. Она собирает интернет-магазин, маркетплейсы, рекламу, логистику и финансовые продукты в единый контур. Вместо десятка разрозненных кабинетов — одно место, где предприниматель ведёт бизнес.
Платформу усиливают технологии таких сервисов, как AdvantShop, MarketGuru, Flocktory, WhoIsBlogger и Digital Chief. Команда создаёт единую архитектуру: синергию решений и новые сценарии роста для селлеров, которых ни один инструмент по отдельности не даёт.
Мы делаем не очередной сервис на рынке, а единую систему для онлайн-торговли. Работаем с бизнесом любого масштаба — от локальных продавцов до федеральных компаний. Наша цель — забрать на себя рутину, чтобы предприниматели занимались продуктом и клиентами.
Сейчас в нашей команде открыта позиция Data Engineer.
Обязанности:
- Архитектура и реализация витрин данных для аналитики,
- ML и AI-агентов.
- Проектирование и внедрение API на python (fastapi, flack).
- Поддержка и написание пайплайнов ETL/ELT Airflow /
- Spark / Kafka / ClickHouse / PostgreSQL / S3 etc..
- Проектирование архитектуры данных в Data Lake и Data LakeHouse.
- Мониторинг качества данных в Openmetadata.
Требования:
- 3+ лет опыта в области Data Engineering, Data Governance, Data Quality или Data Platform.
- Отличное знание SQL, уверенное владение Python.
- Опыт внедрения и поддержки data catalog / data lineage (OpenMetaData).
- Опыт написания ETL на БД Clickhouse.
- Опыт внедрения фреймворков для валидации и контроля качества данных.
- Опыт работы с инструментами: Great Expectations, Deequ, Soda, Monte Carlo, dbt tests.
- Навыки построения документации и стандартов по качеству данных, SLA, ownership моделей.
Будет преимуществом:
-
Опыт работы в компаниях с распределенной архитектурой данных
-
Опыт с генеративным ИИ - структурирование и валидация входных/выходных данных для LLM.
Условия:
- Официальное трудоустройство по ТК РФ.
- Работа в аккредитованной ИТ-компании.
- Карьерный рост: ты будешь понимать, что нужно сделать для перехода на другой уровень.
- Заботу о твоем здоровье: программа ДМС, куда входит стоматология и обслуживание в лучших клиниках города, скидки на абонементы в фитнес-клубы, неформальные спортивные сообщества. Также есть фитнес-зал в офисе.
- Гибридный формат работы 5/2 . Удобное рабочее место: наш современный офис находится в банковском кластере в 3-х минутах ходьбы от метро Технопарк. Рядом большой выбор кафе и ресторанов, где ты сможешь разнообразно пообедать с коллегами, сменить обстановку и “перезагрузиться”.
- Возможности для разнообразного досуга: скидки на услуги туристических агентств, продукты питания, в рестораны и бары, в магазины и салоны красоты.
Локация
Астана, работа в офисе.
О компании
Крупная финансовая организация, развивающая цифровые сервисы и проекты в сфере данных.
Что нужно делать
- Поддерживать и контролировать потоки и модели данных в реляционном и нереляционном DWH
- Подбирать методы и инструменты для оптимального решения задач хранилища
- Анализировать ошибки, выстраивать надёжные процессы обработки данных и давать рекомендации по росту производительности и качества данных
Требования
- Продвинутый SQL и опыт работы с реляционными БД Oracle и Greenplum
- Практика с платформами больших данных Hadoop, Hive и Apache Spark
- Опыт ETL-процессов с Airflow, Python, Informatica PC и Informatica DEI
- Понимание распределённых систем, структур данных и алгоритмов, аналитические навыки; английский на уровне чтения технической документации
Data Engineer / DWH Developer
Локация: Удалённый или гибридный формат
Зарплата: Не указана
Позиция Data Engineer / DWH Developer в страховой компании, которая активно развивает цифровые продукты.
Что делать:
- Развивать корпоративное хранилище: проектировать слои staging / core / marts.
- Разрабатывать ETL-процессы на SSIS.
- Строить витрины данных и оптимизировать SQL-запросы.
- Участвовать в архитектурных решениях.
- Настраивать обновление моделей SSAS для BI.
Требования:
- От 3 лет опыта с DWH.
- Практический опыт MS SQL Server и SSIS.
- Уверенный T-SQL и оптимизация запросов на больших объёмах данных.
- Знакомство с Kafka, ClickHouse или dbt будет плюсом.
Условия:
- Удалённый или гибридный формат.
- Оформление по ТК РФ, график 5/2: 9:00–18:00, по пятницам — до 16:45.
- Зарплата с системой мотивации, ДМС, корпоративное обучение и скидки на страховые продукты, фитнес и путешествия.
Для отклика писать в телеграм - @ned0statochno
О проекте: Сейчас мы находимся в поисках Data Engineer (Hadoop/Spark) в команду, которая занимается полным циклом внедрения математических моделей (ML моделей)
Наш стек: Мы все работаем на современной ML-платформе.
Используем PySpark, SQL, Python, Airflow для оркестрации DAGов, MLFlow для регистрации моделей и Feature Store для хранения фичей
Наша команда: 7 человек: DE, DS, DA и MLE
Чем предстоит заниматься:
- Формирование датасетов, поиск и подгрузка данных
- Автоматизация Data Pipelines
- Разработка ETL-процессов для интеграции данных из различных внутренних и внешних источников
- Оптимизация сборки датасетов и работа с багами
- Подготовка данных для внедрения математических моделей в конвейер принятия решений
Что мы ждем:
- Опыт в направлении от 3 лет
- Опыт с Apache Airflow: настройка, оптимизация, DAG на Python
- Знание SQL на уровне сложных запросов и оптимизации
- Знание Python на Middle уровне
- Высшее образование
Будет плюсом:
- Опыт работы с Pyspark, Scala
- Знание потоковых данных (Kafka, Spark Streaming)
- Опыт работ с Docker, Kubernetes
Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.
ГК Юзтех является технологическим партнером таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, ГоИнвест, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет, Х5 retail Group, Газпромнефть, Леруа Мерлен, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные ИТ-продукты (Юзбас, Октопус, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.
Сфера:
Ищем ведущего инженера сопровождения хранилища данных (DWH) в команду, отвечающую за стабильную работу процессов загрузки и обработки данных.
Формат работы:
Удалённо, РФ.
Задачи:
-
Сопровождение и анализ существующих процессов загрузки данных.
-
Мониторинг ETL-процессов, выявление и устранение аномалий.
-
Тестирование и внедрение доработок в продуктивную среду.
-
Обработка обращений пользователей в рамках второй линии технической поддержки, включая перезагрузку данных.
-
Проверка и актуализация технической документации.
Мы ожидаем:
-
Уверенное знание SQL.
-
Знание Python и библиотек для разработки ETL-процессов.
-
Опыт работы с Greenplum, Oracle, Apache Airflow, Informatica PowerCenter.
-
Знание технологий MinIO, Hive, Impala, Apache Spark.
-
Навыки системного анализа и тестирования.
-
Опыт работы с Jira, Confluence или аналогичными инструментами.
-
Будет плюсом знание S3 и Apache Iceberg.
Мы предлагаем:
- Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании;
- Расширенный полис ДМС со стоматологией, корпоративный психолог;
- Необходимую технику для комфортной работы;
- Обучение, сертификацию, клуб английского языка;
- Доступ к Корпоративной библиотеке и к Корпоративному университету;
- Внутрикорпоративные профильные коммьюнити;
- Заботу о детях сотрудников: корпоративные скидки, подарки, детские дни;
- Геймифицированную программу лояльности: поверь, ты будешь восторге от нашего корпоративного магазина;
- Корпоративную жизнь: мы много работаем и классно отдыхаем.
🚀 Ищу DWH Developer (MS SQL Server / SSIS)
📍 Локация: только РФ, полностью удалённо
💼 Формат: full-time, ТК РФ
💰 Зарплата: до 300 000 ₽ net
Чем предстоит заниматься:
- Разрабатывать и оптимизировать SQL / T-SQL запросы, хранимые процедуры.
- Создавать и поддерживать ETL-процессы на SSIS.
- Развивать архитектуру DWH и витрины данных.
- Настраивать интеграции с различными источниками данных.
- Оптимизировать производительность запросов и загрузок.
- Работать с SSAS-моделями и процессами их обновления.
Что важно:
- От 3 лет опыта разработки DWH.
- Практический опыт MS SQL Server + T-SQL + SSIS за последние 3 года — обязательно.
- Понимание архитектуры SSAS.
Будет плюсом:
Опыт с ClickHouse, Airflow, dbt или другими инструментами modern data stack.
✨ Условия:
- Полностью удалённая работа из РФ.
- Официальное оформление по ТК РФ.
- ДМС, обучение и корпоративные программы.
📩 Если вакансия интересна, напишите мне в личные сообщения — расскажу подробности!
#DWH #SSIS #ETL #DWHJobs
Мы — команда из 9 человек (DE, DA, DS), занимающаяся полным циклом разработки, внедрения и оценки эффекта AI-моделей для сети отделений Сбера. Ключевые направления нашей работы — разработка GenAI-решений для сокращения рисков при обслуживании клиентов в отделениях.
Ищем сильного и самостоятельного Data Engineer / Data Analyst. Идеальный кандидат умеет брать ответственность за данные: от первичного анализа до создания промышленных витрин, а также готов выступать инженерным мостом между Data Science и промышленной разработкой.
Обязанности
- Проектирование, разработка, ввод в эксплуатацию и поддержка промышленных витрин данных.
- Самостоятельный фиче-инжиниринг и подготовка данных для работы AI-моделей.
- Адаптация ML-моделей: перевод решений от DS (из Jupyter-ноутбуков и скриптов) в структурированный вид для передачи команде внедрения.
- Контроль качества данных и экспертная поддержка команды DS по потокам данных (онлайн и оффлайн).
- Участие в закрытии технического долга по витринам.
- Точечная ad-hoc аналитика.
Требования
- Релевантный опыт работы в аналитике или дата-инжиниринге от 3 лет.
- Уверенное владение SQL, Python, PySpark (Hadoop/Spark), Greenplum/Postgres.
- Глубокое понимание архитектуры витрин данных и опыт самостоятельного построения промышленных пайплайнов.
- Навыки работы с Git, умение читать код DS и приводить его к инженерным стандартам production.
- Хорошая математическая база и умение находить инсайты в сырых данных.
- Развитые софт-скиллы и готовность делиться опытом с коллегами.
Условия
- Комфортный современный офис рядом с м. Кутузовская с бесплатным фитнесом.
- Высокую степень автономности в принятии технических решений и сильный коллектив.
- Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
- Расширенный ДМС, льготное страхование для семьи.
- Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ.
- Бесплатную подписку СберПрайм+ и скидки на продукты компаний-партнеров.
- Разработка и сопровождение высоконагруженных пайплайнов расчёта признаков в Feature Store: витрины, агрегаты, таргеты;
- Проектирование сложных пайплайнов, новых витрин и интеграция новых источников;
- Подготовка данных в DataLake, SandBox и Feature Store по требованиям DS-команд и бизнес-направлений;
- Вывод признаков в онлайн-контур (Cassandra);
- Оптимизация производительности Spark-приложений, контроль потребления ресурсов кластера;
- Поддержка стабильности пайплайнов в проде: мониторинг, разбор инцидентов, восстановление данных;
- Проведение code review всех инженеров до уровня Senior, апрув изменений алгоритмов расчёта;
- Наставничество Junior-и Middle-инженеров;
- Разработка и актуализация документации;
- Отражение статусов задач в Jira;
- Участие в развитии платформы Feature Store и миграции на новую инфраструктуру.
- Python: уверенное знание структур данных и алгоритмов, ООП и функциональный подход, модульные и интеграционные тесты (pytest), поддерживаемый код (типизация, линтеры, pre-commit);
- PySpark: разработка сложных высоконагруженных приложений (от сотен ГБ до ТБ). Глубокое знание настроек Spark и их влияния на производительность: партиционирование, shuffle, skew, broadcast join, AQE, память экзекуторов, параллелизм. Умение обосновать конфигурацию под объём данных, диагностирует spill и неэффективное использование ресурсов;
- Экосистема Hadoop: HDFS, Hive, Impala, Hive Metastore, форматы хранения (Parquet, ORC), влияние размера и количества файлов на производительность;
- SQL: сложные запросы с оконными функциями, чтение плана выполнения и оптимизация в Hive, Impala, Spark SQL;
- Airflow: разработка, планирование и мониторинг пакетных пайплайнов — зависимости между DAG, сенсоры, пулы, backfill, перезапуск после сбоя;
- Подготовка данных для ML: временные агрегаты, point-in-time корректность, data leakage, исторические срезы для обучения. Умение объяснить это DS-команде, наличие опыта работы с DS как заказчиками;
- Git (BitBucket или аналог), опыт регулярного code review.
- Плюсом: Cassandra или другое key-value хранилище для онлайн-выдачи признаков, опыт работы с Feature Store (самописный, Feast, Tecton, Chronon), Iceberg и S3 - DuckDB, pandas, Polars для локальной обработки и прототипирования.
- Стабильный и прозрачный доход: оклад + квартальная премия;
- Возможен удаленный формат работы или гибрид;
- Сложные и интересные задачи, современный стек технологий;
- Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни;
- Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий;
- Предложения от Банка только для сотрудников: собственный спортзал, а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины.
Мы в поиске Team Lead в направление BigData, который будет руководить командой по разработке инструментов и пайплайнов данных для DS и ML команд. Команда работает в различных кросc-функциональных проектах в области DS и поддерживает такие продукты как: ранжирование, навигация, персонализация и прайсинг.
Чем предстоит заниматься:
- управлять командой из 4 человек (оценка производительности, мотивации, развитие, найм);
- выстраивать процессы команды и настраивать взаимодействие со смежными командами;
- определять (и отстаивать) архитектуру решений обработки данных, техническая декомпозиция до понятных команде эпиков;
- совместно работать с командой над задачами из бэклога, помогать в критических направлениях;
- обеспечивать качество и надежность производимых командой решений;
- строить инструменты и ETL пайплайны данных;
- развивать практику и культуру работы с данными в компании;
- участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании;
- организовывать и проводить собеседования.
Наш технологический стек: Hadoop, Trino, Spark, Spark Streaming, Airflow, Hudi / Iceberg, Python, Scala.
Мы ожидаем:
- опыт управления командой от 1 года и готовность решать управленческие кейсы;
- опыт в организации найма и построения команды;
- желание быть техническим лидером для команды (не бояться погружаться в детали и помогать достигать целей);
- готовность управлять сроками и ожиданиями бизнеса;
- опыт выстраивания процессов с 0, подкрепленный метриками;
- понимание принципов организации хранилищ данных;
- уверенное знание SQL, умение строить сложные запросы и оптимизировать производительность;
- уверенное знание одного из языков программирования: python, java, scala;
- экспертность в Data Engineering, хорошие знания технологий (hadoop, kafka, spark, trino, airflow).
Мы предлагаем:
- ДМС со стоматологией, телемедициной и программой поддержки ментального здоровья;
- Страхование жизни;
- Ежемесячные промокоды на Lamoda: два по 25%, два по 15% и в день рождения — 40%;
- Программа привилегий и скидок от BestBenefits;
- До 15 дней больничного в год оплачиваем в размере 100% от действующего оклада;
- Бесплатные юридические консультации;
- Дополнительные выходные в случае важных событий;
- Яркие мероприятия и много неформального общения.
Развитие для каждого:
- Опытный наставник для каждого новичка;
- Обучение и участие во внешних конференциях;
- Помогаем развивать личный бренд, выступать на конференциях и писать статьи;
- Performance Review дважды в год, чтобы развиваться системно;
- Проводим митапы и demo-дни для обмена знаниями;
- Погружаем в fashion и каждый сезон знакомим с модными трендами.
Мы развиваем корпоративную платформу данных и готовимся к масштабному технологическому обновлению - переходу на современную Lakehouse-архитектуру.
Ищем опытного Data Engineer, который хочет не только разрабатывать надёжные решения для обработки данных, но и влиять на архитектуру платформы, инженерные стандарты и подходы к разработке.
Впереди - миграция на новый технологический стек, развитие процессов Data Governance, повышение качества инженерных решений и совершенствование взаимодействия с командами-потребителями данных.
-
разработка, оптимизация и сопровождение надёжных ETL/ELT-пайплайнов для пакетной и потоковой обработки данных
-
участие в проектировании и развитии архитектуры корпоративной платформы данных, включая переход на Lakehouse с использованием S3, Trino, Apache Iceberg и Apache Spark
-
разработка технических решений для миграции существующих процессов обработки и хранения данных на новый технологический стек
-
развитие процессов Data Governance: управление жизненным циклом данных, контроль качества, документирование, прозрачность происхождения данных (Data Lineage)
-
участие в развитии инженерной экспертизы команды: обмен знаниями, обсуждение архитектурных решений, формирование единых технических подходов
-
улучшение процессов взаимодействия со смежными подразделениями, участие в согласовании требований, технических решений и SLA.
-
опыт работы с реляционными и аналитическими СУБД, понимание принципов хранения, партиционирования и оптимизации данных
-
уверенное владение Python или другим языком программирования, применяемым для обработки данных
-
понимание принципов построения DWH, Data Lake и современных архитектур платформ данных
-
опыт использования Git, CI/CD, code review и автоматизированного тестирования
-
умение проектировать технические решения, оценивать их ограничения и аргументированно выбирать подходы к реализации
-
самостоятельность в решении сложных инженерных задач, готовность брать ответственность за результат и взаимодействовать со смежными командами.
Будет плюсом
- практический опыт работы с Lakehouse-технологиями: Apache Iceberg, Trino, Spark, S3-совместимые объектные хранилища
- участие в миграции хранилищ данных или модернизации архитектуры дата-платформ
- опыт работы с Docker, Kubernetes и инфраструктурой распределённых систем
- практический опыт внедрения Data Governance, Data Quality, Data Catalog и Data Lineage
- опыт формирования инженерных стандартов, проведения технических ревью и улучшения процессов разработки
- опыт наставничества, обмена знаниями и развития инженерных компетенций коллег
- инструментальное владение AI для анализа, генерации и автоматизации.
Технологический стек
Текущий: PostgreSQL, ClickHouse, Apache NiFi, Qlik Sense.
Целевой: S3, Trino, Apache Iceberg, Apache Spark, Apache Airflow В перспективе - StarRocks.
Инструменты разработки и инфраструктуры: Git, CI/CD, Docker, Kubernetes.
- комфортный современный офис рядом с м.Кожуховская (г Москва, проезд 2-й Южнопортовый, 12Ак1стр1)
- ежегодный пересмотр зарплаты и годовая премия
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера.
ID 3949 - Senior Data Engineer
🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм
🏢 Проект: ••••••••
💡 Требования:
Опыт промышленной разработки в стеке BigData
Hard skills:
-Языки программирования: SQL, Python
-Технологический стек: Apache Spark, Hadoop\S3\S3-like, Apache Airflow, Parquet\ORC. Знание Apache Iceberg, Apache Kafka будет плюсом
-Навыки работы с: Jira + Confluence или аналогичное, Git, CI/CD, XML, JSON
-Навыки системного анализа, тестирования
-Базовое знание работы с СУБД, Kafka
Soft skills:
-Навки декомпозиции сложных задачи управления приоритетами.
-Умение эффективно коммуницировать в команде, объяснять технические аспекты простым языком.
-Способность создавать понятную и структурированную техническую документацию.
📨 Отклик — через форму: •••••••• или напрямую рекрутеру ••••••••
❗️Откликайтесь только при релевантном опыте.
❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями
❗️Повторный отклик: ID вакансии + сверка.
#Data #Engineer #Удаленно #вакансия
Postgres и Oracle - SQl\PLSQL объекты, представления, аналитические функции. Системы отчетности: Oracle APEX и FineBI - отчеты, интерактивные отчеты, диаграммы. ETL процессы: Python - скрипты для импорта и преобразования данных. Прочее: СSS,JS для стилизации отчетов.
Обязанности:
- Разработка новых отчетов в системах, доработка существующих;
- Разработка скриптов для импортов данных из информационных систем;
- Создание и разработка витрин для хранения данных;
- Создание, доработка, рефакторинг функций и процедур БД;
- Создание почтовых рассылок.
- Не менее 2-х лет опыта в разработке;
- Уверенное знание SQL — сложные запросы, аналитические функции, оптимизация;
- Опыт разработки объектов БД (представления, функции, процедуры) в Oracle или PostgreSQL;
- Опыт написания ETL-скриптов на Python (импорт, трансформация, загрузка данных);
- Понимание структуры витрин данных и DWH-подходов.
Будет плюсом:
- Опыт работы с Oracle APEX и/или FineBI (или аналогичными BI-системами);
- Знание CSS/JavaScript для доработки интерфейсов отчётов;
- Опыт настройки почтовых рассылок и планировщиков (cron, DBMS_SCHEDULER и пр.);
- Навыки работы с большими объёмами данных и оптимизации производительности.
Личные качества:
- Внимательность к деталям и качеству результата;
- Системное мышление и умение видеть задачу целиком;
- Готовность разбираться в новых системах и инструментах;
- Ответственность и умение работать как в команде, так и самостоятельно.
- Официальное оформление в аккредитованную IT-компанию;
- График работы: 5/2, выходные: суббота, воскресенье;
- Комфортные офисы – у нас уютные рабочие пространства, комнаты отдыха с настольным теннисом, кикером, плойкой и другими плюшками;
- Развитие профессиональной экспертизы: ты сможешь обучаться и посещать конференции и митапы за счёт компании;
- Классная команда – мы за радость общения и дружбу в коллективе;
- Комфортный офис – у нас уютные рабочие пространства, комнаты отдыха с настольным теннисом, кикером, плойкой и другими плюшками;
- Погружение в ИИ-культуру – взаимодействуем с искусственным интеллектом на постоянной основе и обучаем этому новичков, предоставляем бесплатных ИИ-помощников;
- Коворкинги в Сочи и на Алтае – туда можно отправиться поработать и отдохнуть в режиме 4/3 за счёт Банка;
- Более 50 социальных программ – ДМС со стоматологией и страхованием от несчастных случаев и болезней, изучение английского, софинансирование летнего, зимнего и тематического отпуска, уникальные условия по продуктам и услугам Банка;
- Забота о детях: мы проводим праздники и экскурсии для детей наших сотрудников, софинансируем частный детский сад, отдых в лагере и подготовку к экзаменам;
- Много спорта: у нас есть клубы и секции, можно заниматься любым спортом за счёт Банка и участвовать в корпоративных турнирах и чемпионатах. Также мы софинансируем коллегам абонементы в фитнес-клубы;
- Вовлеченность, комфорт и свобода. У нас минимум бюрократии, нет дресс-кода, гибкое начало и завершение рабочего дня;
- Самая яркая корпоративная культура – летние IT-фесты, путешествия по России и за её пределами!
В Т‑Банк большое и продвинутое хранилище данных: это 8000 объектов, 800 ТБ в Greenplum и 110 ТБ в Clickhouse.
С данными активно работают более 16 тысяч пользователей из бизнес-команд — они ежедневно принимают десятки решений с опорой на них. А наша команда делает все, чтобы доступ к данным был простым и ими было удобно пользоваться. Мы постоянно совершенствуем подходы к работе и стараемся быть новаторами на рынке технологий.
Мы ищем в команду дата-инженера. В Т‑Банке вы сможете развиваться в одном из двух направлений — системном анализе и ETL-разработке. Или совмещать их, если вам интересны оба.
Обязанности:- Участвовать в формировании модели данных
- Проектировать и разрабатывать витрины и потоки данных на основе потребностей бизнес-пользователей
- Участвовать в проектах по развитию Data Platform
- Писать скрипты SQL и Python, это опционально
- Прорабатывать интеграции с внешними системами для Data Platform
Требования:
- Свободно владеете SQL
- Работали с базами данных в качестве аналитика или разработчика
- Понимаете теорию СУБД-и ETL-процессов
- Есть опыт проектирования объектов БД на основании бизнес требований
Мы предлагаем:
- Работу в офисе или гибридный формат — по договоренности с руководителем
- Платформу обучения и развития «Т-Банк Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии
- Линейку льготных тарифов на продукты Т-Банка
- Комплексную программу заботы о здоровье. Оформим полис ДМС с широким покрытием и страховку от несчастных случаев. Предложим льготные условия страхования для ваших близких
- Частичную компенсацию затрат на спорт по окончании испытательного срока
- Компенсацию обедов и транспорта в дни посещения офиса
- Well-being-программу, которая помогает улучшить психологическое и физическое здоровье, а также разобраться с юридическими и финансовыми вопросами
- Три дополнительных дня отпуска в год
- Разработка дата-продуктов ЕСЕ (Единый семантический слой) на Scala, а в перспективе и на Java.
- Создание артефактов для подготовки дистрибутива к релизу.
- Создание и расширение реплик трайба, а также витрин трайба в перспективе.
- Освоение методик для создания и расширения реплик, участие в согласовании порядка установки и запуска дата-продукта.
- Опыт в Hadoop Apache Spark ETL Pipeline не менее 2 лет.
- Программирование на Scala и с использованием фреймворка Spark.
- Приветствуется знание PySpark и опыт с оркестрацией ETL.
- SQL (ANSI).
- Опыт использования инструментов DevOps.
- Программирование на Java (минимум начальный уровень).
- Комфортные условия и полезные бонусы от Selecty:
- Удаленный формат работы;
- Оформление по ТК РФ на аккредитованную ИТ компанию
- HR координатор у каждого сотрудника;
- ДМС со стоматологией, начиная с первого месяца работы;
- Скидки на изучение иностранных языков от Skyeng;
- Реферальная программа: бонус за рекомендации.
Работаем на рынке более 10 лет, с 2013 года успешно решая задачи любой сложности в рамках цифровой трансформации для крупного бизнеса. Среди заказчиков Selecty более 300 компаний из списка РБК Топ-500. Расскажите нам о себе и мы обязательно свяжемся с вами!
Senior Data Engineer / ETL-разработчик (Импортозамещение ЦФТ / Oracle / Airflow / Spark) 🏦📊
Ставка: до 250 000 руб. (⚠️ Оплата строго по задачам! Онбординг не оплачивается).
Грейд: Senior.
Загрузка: Full-time (проектная занятость).
Срок привлечения: 12 месяцев.
Формат: Удалённо.
Локация/Гражданство: Россия, Беларусь.
🚨 КРИТИЧЕСКИ ВАЖНО: Данный проект предполагает оплату только по факту выполненных задач. Период онбординга и погружения в проект не оплачивается. Пожалуйста, учитывайте это при отклике.
🏢 О проекте: масштабный проект по импортозамещению АБС ЦФТ. Перенос ключевой функциональности на Корпоративное Хранилище Данных (КХД). Разрабатываемый калькулятор решает задачи:
- Ежедневный автоматизированный расчёт отчетов.
- Подготовка и формирование отчетных витрин для принятия управленческих решений.
- Внедрение процессов контроля и улучшения качества данных (Data Quality) в системах-источниках.
- Обеспечение возможностей аудируемости и валидации данных, полученных в ходе расчетов.
🧩 О роли: ищем зрелого Data Engineer / ETL-разработчика с сильным бэкграундом в Oracle и опытом работы в банковских проектах. Вы будете играть ключевую роль в миграции логики, построении надежных пайплайнов обработки данных и обеспечении их качества.
🚀 Ключевые задачи:
- Разработка и поддержка ETL/ELT-процессов: извлечение данных из различных источников, трансформация и загрузка в хранилище.
- Разработка и оркестрация DAG-пайплайнов на Apache Airflow.
- Написание и глубокая оптимизация сложных SQL-запросов.
- Участие в переносе функциональности с ЦФТ на КХД.
- Работа в команде с использованием систем контроля версий (Git, GitFlow).
🎯 Обязательные требования (Hard Skills):
- Коммерческий опыт работы от 5 лет.
- Подтвержденный опыт работы в банковских проектах.
- Уверенный опыт разработки на Oracle (PL/SQL, хранимые процедуры, пакеты).
- Практический опыт разработки DAG на Airflow.
- Глубокое знание SQL: JOIN, индексы, агрегатные функции, продвинутые навыки оптимизации запросов.
- Опыт работы с реляционными СУБД: PostgreSQL, Oracle.
- Опыт разработки и поддержки ETL/ELT-процессов в промышленных масштабах.
- Знание Git и уверенная работа с ветками по методологии GitFlow.
💡 Будет весомым плюсом:
- Опыт работы с Informatica.
- Опыт взаимодействия с объектными хранилищами (S3) и распределенными обработчиками данных (Spark).
- Понимание специфики банковских данных и регуляторной отчетности.
Группа Rubytech — лидирующий производитель программно-аппаратных комплексов и разработчик технологий для высоконагруженных ИТ-инфраструктур. Мы выпускаем собственную линейку ПАК Скала^р, а также строим и защищаем от киберугроз инфраструктуру, обеспечивая бесперебойную работу крупного бизнеса и государственных организаций.
Вам предстоит:
• Разработка, построение, тестирование и поддержка архитектур данных: Дата-инженер отвечает за создание и поддержку оптимальных архитектур данных, которые обеспечивают эффективное хранение, обработку и доступ к большим объемам данных.
• Сбор и интеграция данных из различных источников: Дата-инженер должен уметь собирать данные из разнообразных источников, таких как базы данных, файловые системы, внешние сервисы и API, и интегрировать их в централизованное хранилище данных.
• Очистка и подготовка данных: Очистка неструктурированных и разрозненных данных, их преобразование в структурированный и читаемый формат для последующего анализа.
• Автоматизация процессов сбора, обработки и анализа данных: Разработка и поддержка автоматических процедур для регулярного обновления данных и обработки потоков данных в реальном времени.
• Мониторинг, тестирование и обеспечение производительности обработки данных: Постоянный мониторинг систем и архитектур данных на предмет ошибок и узких мест, а также выполнение необходимых оптимизаций.
• Сотрудничество с аналитиками данных и другими заинтересованными сторонами: Взаимодействие с командами аналитиков, бизнес-аналитиков и разработчиков для обеспечения доступа к данным, их понимания и использования.
• Соблюдение политик и нормативов в области обработки данных: Все процессы и системы должны соответствовать требованиям в отношении безопасности данных, конфиденциальности и правовых норм.
Требования к нашему кандидату:
• Опыт работы дата-инженером от 3 лет: Участие в проектировании, построении, оптимизации и поддержке хранилищ данных. Опыт работы с базами данных и большими объемами данных.
• Знание систем управления базами данных: Глубокие знания SQL и NoSQL баз данных, включая Greenplum, ClickHouse, MongoDB, Cassandra, PostgreSQL, MySQL и другие.
• Опыт с большими данными и распределенными системами: Опыт работы с Hadoop, Spark, Trino, StarRocks, Kafka и другими технологиями обработки больших данных.
• Знание облачных платформ: Опыт работы с облачными платформами AWS, Yandex Cloud или VK Cloud, включая сервисы хранения, обработки данных и управления базами данных.
• Навыки работы с данными: Знание основных принципов и методик построения DWH, DataLake, Lakehouse. Понимание методов очистки и предобработки данных, знание инструментов для визуализации данных.
• Опыт разработки ETL: Уверенное владение ETL-инструментами для извлечения, трансформации и загрузки данных из различных источников.
• Знание языков программирования: Владение SQL и одним или несколькими языками программирования: Python, Scala, Java.
• Опыт работы с Git и инструментами CI/CD: GitLab, Jenkins или аналогичными.
Тестирование: Опыт формирования сценариев и проведения функционального и нагрузочного тестирования.
• Умение работать с документацией: Анализ и подготовка архитектурной документации, описаний разработанных решений и результатов тестирования.
• Осознанное использование ИИ: Понимание и опыт использования ИИ-инструментов для повышения продуктивности работы.
• Навыки командной работы: Способность эффективно общаться как с техническими, так и с не техническими коллегами, умение работать в команде.
Желательно:
• Опыт работы с DevOps-задачами, самостоятельное развёртывание демонстрационных и тестовых стендов, проведение тестов и документирование результатов.
• Понимание принципов контейнеризации и опыт работы с Docker, Kubernetes.
Что мы предлагаем:
- Уютный, комфортный и современный офис в пешей доступности от м. Алексеевская, где есть все необходимое для работы и даже больше: дежурный врач, кафе и столовая, кофе и фрукты, фитнес-центр, коворкинг и многое другое.
- Стабильный и «белый» конкурентный доход, который мы обсудим при встрече;
- Удобный график — гибрид или офис (в зависимости от подразделения);
- Работа в аккредитованной ИТ-компании из реестра Минцифры (отсрочка от мобилизации);
- Профессиональный рост, обучение и развитие, участие в проекте «Лекторий Rubytech»;
- Развитые спортивные комьюнити: футбол, волейбол, баскетбол и шахматы;
- ДМС для вас и вашей семьи на особых условиях;
- Тимбилдинги, митапы и другие корпоративные мероприятия;
- Скидки у 500+ партнеров (платформы BestBenefits и Lerna).
Ждем вас в нашей команде!
Кто такой Data Engineer
Data Engineer строит трубопроводы, по которым в компании движутся данные. Он собирает ETL/ELT-процессы, поднимает потоковую обработку, проектирует data lake и хранилища так, чтобы аналитикам и моделям всегда были доступны свежие, чистые и согласованные данные. В связке ML/AI дата-инженер обслуживает обучение моделей (Data Science и ML) и аналитику, а не отчётность ради отчётности.
Любая работа с данными упирается в их доставку: пока сырые логи не превращены в удобные таблицы, ни аналитик, ни модель ничего полезного не сделают. Кто-то должен наладить регулярную загрузку из десятков источников, справиться с объёмами и опозданиями данных, обеспечить качество и не дать пайплайну молча сломаться ночью. Это инженерная роль с прочным программистским фундаментом и вниманием к надёжности.
Требования и стек
Стек — про оркестрацию, обработку и хранение больших объёмов.
- Оркестрация: Airflow, Prefect, Dagster.
- Обработка: Apache Spark и Flink — батч и стриминг; dbt для трансформаций.
- Стриминг: Kafka, Pulsar, Kinesis.
- Хранение: data lake и lakehouse на Delta, Iceberg, Hudi поверх S3/GCS; ClickHouse, BigQuery, Snowflake, Greenplum.
- Языки: Python и Scala для пайплайнов, уверенный SQL.
Граница с соседями проходит по цели пайплайна: строить аналитический слой для отчётности — это работа BI / DWH специалистов; универсальная доставка данных для ML, приложений и озера — территория дата-инженера. Специализация на одном компоненте — например, только на Spark или только на Kafka — тоже считается дата-инженерией, а не отдельной профессией.
Карточек в выборке первой страницы: 25. С явной отметкой удалённой работы: 10. Источник — показанные объявления HireSeeker; одна карточка учитывается один раз. Это срез текущей страницы, а не доли по всему рынку. Отсутствие отметки не означает запрет удалённой работы.
Что ждут от кандидата
Главный вход в профессию — прийти из backend-разработки: если вы уверенно пишете на Python или Scala и понимаете базы данных, дата-инженерия — логичный следующий шаг. Второй путь — из аналитики или из администрирования БД, где уже привыкли работать с SQL и большими выборками.
Что проверяют на собеседовании:
- SQL продвинутого уровня и понимание, как устроены СУБД внутри (индексы, планы, партиционирование);
- проектирование пайплайна: идемпотентность, обработка опоздавших данных, повторные запуски;
- опыт с распределённой обработкой — Spark или стриминг через Kafka;
- внимание к надёжности и качеству данных, а не только к тому, что «джоба зелёная».
Сильное преимущество — показать реальный пайплайн: источник, оркестрация, трансформация, хранилище. Даже учебный сквозной проект на открытых данных демонстрирует инженерное мышление лучше списка технологий — вынесите его в резюме первым пунктом.
Зарплаты и спрос
Медианная зарплата — 300 000 ₽ по вакансиям за последние 30 дней. Подробная статистика зарплат Data Engineer.
Смотрите также в каталоге
Хотите персональную подборку?
Введите свои критерии — мы отфильтруем вакансии по вашим требованиям
Найти подходящие вакансии →