Вакансии Data Engineer и инженера данных
Построение потоков данных, хранилищ и ETL/ELT-пайплайнов. Анализ данных и моделирование представлены в соседних разделах. Обновляется каждый час. Найдено: 107 вакансий за последнюю неделю.
- Вакансий за неделю:
- 107
- Медиана:
- 300 000 ₽
- Вилка:
- 200 000 ₽ — 395 000 ₽
Зарплаты — по 109 вакансиям с указанной вилкой за 30 дней
Поиск вакансий
HireSeeker — агрегатор вакансий. Собираем вакансии со всех основных площадок и показываем по вашей специальности. Подпишитесь на ежедневную подборку только релевантных.
X5 — российская розничная торговая компания, управляющая продуктовыми торговыми сетями «Пятёрочка», «Перекрёсток» и «Чижик», 5Post, «Много Лосося» и медиаплатформой Food.ru.
X5 Tech - IT-компания и основной цифровой партнер торговых сетей и бизнесов X5. Команда из более 6000 специалистов разрабатывает решения, которые помогают 372 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
В X5 Технологии открыта позиция "Инженер данных\DWH разработчик"
Наш стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3
Обязанности:
- Сбор требований с бизнес-заказчиков и анализ источников данных
- Разработка, реализация и поддержка типовых потоковых интеграционных решений на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
- Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок
- Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю.
Требования:
- Общее представление о стеке технологий Lakehouse
- Понимание различия работы между BigData/Lakehouse и с данными обычного размера
- Знание SQL (индексы, функции, оптимизация, профилирование производительности)
- Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.)
- Умение работать с Git (знание команд git pull/commit/push)
- Опыт работы с DBT, Cosmos
- Представление о работе с Trino
- Понимание устройства Iceberg, форматов данных
- Понимание работы с minio или любого другого хранилища на основе S3
- Опыт использования системами ведения проектов и документации
- Знания основ программирования (JAVA, Python).
Условия:
- Официальное оформление с белой ЗП
- Полугодовые премии по результатам работы
- Возможность работать удалённо или в гибридном формате
- Удобный офис рядом с м. «Добрынинская» / удобный офис с бесплатной парковкой на м. «Волгоградский проспект» / МЦД «Калитники»
- Гибкий график работы
- Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья
- Возможность учиться и развиваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, участие в крупнейших конференциях страны, программы развития цифровых и управленческих навыков (Цифровая академия, Школа Тимлидов), онлайн и офлайн мастер-классы, корпоративный университет «X5 Полка», школа наставников и многое другое
- Программы мотивации для спикеров и авторов: внутренняя школа Speak Up School, Write Up, ачивки и баллы за выступления, подготовка спикеров к крупнейшим конференциям страны, сообщество авторов на Хабре, возможность шерить опыт с комьюнити внутренних и внешних экспертов
- Обмен опытом через cообщества: 12 технических комьюнити от java до devops
- Яркая корпоративная жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: регулярные внутренние митапы, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтерства, корпоративное предпринимательство X5 Idea Challenge
- Забота о благополучии сотрудников: 7 спортивных сообществ (бег, футбол, волейбол, баскетбол, хоккей, лыжи, триатлон), ежегодная Неделя здоровья
- Скидки в экосистеме бизнесов Х5 («Пятёрочка», «Перекрёсток», «Много лосося», «Перекресток Впрок»)
- Программа привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров)
- Материальная помощь сотрудникам, попавшим в сложную жизненную ситуацию.
Привет! Мы — кадровое агентство GB Agency, и сейчас ищем DWH-разработчика в крупную страховую компанию.
О компании
У компании сильный IT-департамент, который активно развивает цифровые продукты, а на корпоративном хранилище данных держится вся аналитика и отчётность бизнеса. Вам предстоит развивать хранилище: подключать новые источники, писать ETL, проектировать слои и витрины, готовить OLAP-модели для BI. Это не роль на поддержке: здесь много разработки, архитектурных задач и работы с производительностью на больших объёмах данных.
Условия
- Зарплата до 300 000 ₽ на руки.
- Можно работать удалённо из любого региона России.
- График 5/2 по Москве.
- Официальное оформление в штат по ТК РФ.
- ДМС и корпоративная программа лояльности.
- После испытательного срока компания оплачивает профильное обучение.
- Понятный онбординг: на старте помогают тимлид и архитектор.
- Команда выделяет время на оптимизацию, исследования и работу с техдолгом.
Требования
- От 3 лет в разработке хранилищ данных, из них не меньше года — проектирование архитектуры хранилища и его слоёв.
- Опыт с Microsoft-стеком за последние 3 года: MS SQL Server и SSIS. Это главное требование.
- Сильный T-SQL: аналитические функции, процедуры, сложные запросы и их оптимизация.
- Понимание того, как работает СУБД под капотом: планы выполнения, индексы (в том числе columnstore), партиционирование, поиск узких мест по ресурсам сервера.
- Опыт ETL на SSIS: загрузка из баз данных, файлов и по API, контроль ошибок, инкрементальная и пакетная загрузка.
- Понимание того, как устроен SSAS и как обновляются модели. Хватит примерно года опыта, тонкостям настройки научат.
- Уверенная теория и моделирование данных, открытость в общении и спокойное отношение к обратной связи.
Будет плюсом
- Опыт с современным data-стеком: ClickHouse, Airflow, dbt, Kafka.
- Опыт миграции хранилища с Microsoft-стека на современные инструменты.
Обязанности
- Подключать к хранилищу новые источники: основную учётную базу на Oracle, внешние системы, файлы и API.
- Проектировать объекты и слои хранилища, собирать витрины для аналитиков и BI.
- Настраивать и автоматизировать обновление OLAP-моделей в SSAS.
- Ускорять запросы, процедуры и загрузки, разбирать проблемы производительности и техдолг.
- Разбирать технические задания вместе с аналитиками и участвовать в архитектурных решениях, в том числе по миграции.
Процесс интервью достаточно быстрый: 1 этап со стороны компании.
Если заинтересовало предложение, обязательно откликайтесь, и мы рассмотрим ваше CV и вернемся с фидбэком :)
Мы развиваем платформу данных, которая используется командами Data Engineering для построения и эксплуатации большого количества DWH и ETL-процессов.
Ищем Data Engineer уровня Middle / Senior, который будет заниматься не только разработкой пайплайнов, но и созданием общих инструментов и сервисов для инженеров данных.
Вам предстоит:
- Разрабатывать и развивать инструменты платформы данных;
- Разрабатывать и оптимизировать процессы импорта и экспорта данных между Greenplum, ClickHouse, PostgreSQL и S3;
- Работать с большими объемами данных и распределенными системами;
- Разрабатывать ETL/ELT-процессы на Python и Apache Spark;
- Участвовать в проектировании и развитии архитектуры платформы данных;
-
Разбираться в производительности SQL-запросов и оптимизации работы MPP-систем;
-
Взаимодействовать с Data Engineers, аналитиками и другими командами, использующими платформу;
-
Поддерживать и развивать техническую документацию.
Вы нам подходите, если:
-
Владеете уверенным знание Python и имеете опыт промышленной разработки;
-
Владеете продвинутым SQL;
-
Имеете практический опыт работы с Apache Spark;
-
Имеете опыт работы с реляционными СУБД: PostgreSQL, Oracle, MS SQL или аналогами;
-
Имеете опыт работы с MPP / распределенными СУБД;
-
Имеете опыт работы с одним или несколькими оркестраторами, желательно Apache Airflow;
-
Имеете опыт работы с Git и командной разработкой;
-
Имеете опыт работы с S3 или объектными хранилищами.
Будет плюсом:
-
Опыт работы с Greenplum;
-
Опыт работы с ClickHouse;
-
Опыт работы с dbt;
-
Опыт проектирования и развития ETL/ELT-фреймворков;
-
Опыт проектирования DWH и моделей данных;
-
Опыт работы с Apache Iceberg;
-
Опыт работы с другими MPP-системами: Vertica, Teradata и др;
-
Опыт разработки внутренних платформенных сервисов и инструментов для Data Engineering.
Чем предстоит заниматься
- Проектирование и разработка ETL/ELT-пайплайнов: сбор, обработка и трансформация больших объёмов данных из различных источников (API, баз данных, логов, внешних систем) в хранилище.
- Разработка и сопровождение ML-пайплайнов: автоматизация процессов обучения, валидации, деплоя и мониторинга моделей машинного обучения (MLOps). Внедрение моделей в продуктовую среду через API-сервисы (REST, gRPC).
- Работа с данными: написание высокопроизводительных SQL-запросов, оптимизация работы с большими таблицами (миллиарды строк, терабайты данных), партиционирование, индексация, настройка кластеров.
- Поддержка инфраструктуры: сопровождение кластеров баз данных, очередей сообщений (Kafka, RabbitMQ), объектных хранилищ. Участие в выборе технологий и проектировании архитектуры решений.
- Оптимизация производительности: устранение узких мест в пайплайнах, профилирование и тюнинг запросов, настройка параметров сред выполнения (JVM, Python, контейнеры).
- Разработка и рефакторинг кода: написание высококачественного кода на Python, Java, Scala или Go. Чтение и правка чужого кода, рефакторинг легаси-решений.
- Ведение технической документации: описание архитектурных решений, схем данных, API-интерфейсов, инструкций по развёртыванию и эксплуатации сервисов.
Требования
- Опыт в инженерии данных от 3+ лет: разработка и поддержка ETL-процессов в продакшене, работа с большими объёмами данных.
- Опыт разработки на Python: уверенное владение Python для написания пайплайнов, API-сервисов, скриптов обработки данных. Опыт работы с Pandas, NumPy, PySpark, Dask.
- Глубокое знание SQL: сложные запросы, оконные функции, оптимизация, работа с различными СУБД (Oracle, PostgreSQL, ClickHouse, Greenplum).
- Опыт работы с распределёнными системами: понимание архитектуры и принципов работы ClickHouse, Apache Spark, Hadoop. Настройка кластеров, управление ресурсами.
- Опыт построения ML-пайплайнов: работа с фреймворками машинного обучения (scikit-learn, XGBoost, LightGBM, CatBoost), опыт внедрения моделей в продукт.
- Опыт работы с облачными технологиями и контейнеризацией: Docker, Kubernetes, Yandex Cloud, AWS, GCP или аналоги.
- Понимание архитектуры микросервисов: опыт разработки REST/gRPC API, работа с очередями сообщений (Apache Kafka, RabbitMQ).
- Системное мышление: умение видеть систему целиком, понимание компромиссов между производительностью, стоимостью и надёжностью.
- Работа с кодировками и локализацией: понимание работы с многобайтовыми кодировками (UTF-8), проблемы с данными из разных источников.
Будет плюсом
- Опыт работы с MLOps-инструментами (MLflow, Kubeflow, Airflow для управления пайплайнами, DVC для версионирования данных и моделей).
- Опыт разработки на Java, Scala, Go для высоконагруженных систем.
- Опыт работы с NoSQL-базами (MongoDB, Redis, Cassandra, Elasticsearch).
- Знание Data Lake / Data Lakehouse архитектур (Delta Lake, Iceberg, Hudi).
- Опыт работы с BI-инструментами (Power BI, Tableau, DataLens) для валидации данных на выходе из пайплайнов.
- Опыт миграции систем между платформами и версиями (например, с on-premise в облако, с Hadoop на ClickHouse).
- Опыт работы с Git и CI/CD (GitLab CI, Jenkins, GitHub Actions).
- Опыт менторства младших инженеров, проведение Code Review.
- Знание Oracle BI EE (репозиторий и его слои, Administration Tool, веб-каталог, пулы соединений).
- Архитектурное проектирование: опыт проектирования систем с нуля, выбор технологического стека, оценка стоимости владения (TCO), разработка стратегии масштабирования.
- Безопасность: глубокое понимание вопросов безопасности данных, управление доступом, шифрование, аудит.
- Управление командой: опыт руководства командой инженеров (от 3 человек), распределение задач, участие в найме, проведение техсобеседований.
- Стратегическое планирование: участие в дорожной карте развития платформы данных на 1-2 года вперёд.
Мы предлагаем
-
Оформление по ТК РФ, полный социальный пакет. Конкурентная заработная плата (обсуждается по итогам собеседования). Интересные проекты федерального масштаба — информационные системы ФТС России.
Чем предстоит заниматься:
- Выявление и анализ бизнес-потребностей заказчика, трансформация их в аналитические задачи и требования к данным
- Составление бизнес-требований (BRD), функциональных спецификаций (FSD/ТЗ) на загрузку данных, а также участие в разработке стандартов качества данных
- Участие в разработке прототипов, пилотных проектов и временных решений для проверки гипотез
- Участие в ИТ-тестировании (в роли бизнес-заказчика), консультирование разработчиков и тестировщиков, уточнение и разъяснение требований
- Согласование документации (BRD, FSD) со смежными подразделениями, оценка влияния изменений на существующую архитектуру (DWH), участие в качестве эксперта в ИТ-проектах банка
- Осуществление функциональной поддержки (3-я линия) и содействие в процессе внедрения ПО в промышленную эксплуатацию
Наши пожелания к кандидатам:
- Уверенный SQL (оконные функции, оптимизация)
- Опыт работы с DWH и ETL-процессами
- Знание СУБД (Oracle, MS SQL, PostgreSQL, Greenplum)
- Навыки коммуникации с бизнес-заказчиками
- Опыт подготовки аналитической документации
Будет плюсом:
- Опыт подготовки отчетности для ЦБ РФ
Что мы предлагаем:
- Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
- Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
- Удалённый формат работы, а также уютный ИТ-хаб в Москве и сезонный коворкинг в Сочи
- Сложные и интересные задачи, современный стек технологий
- Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
- Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
- Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
- Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
- Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины
Обязанности:
- Разработка и поддержка BI-решений Банка
- Исправление дефектов ПО
- Разработка дагов/потоков на ETL инструментах согласно требованиям по FSD
- Постороение паплайнов, работа с CI/CD конвеером
- Загружать данные из системы источника до холодного централизованного хранения
Требования:
- Опыт разработки от 3 лет
- Практический опыт разработки ETL-процессов и работы с Apache Spark, Informatica PC, Airflow
- Профессиональный уровень знания SQL (MS SQL, Oracle, Greenplum, Postgres) и принципов построения моделей данных
- Знание Debezium, flink, spark, kafka
- Опыт обработки больших объемов данных и разработки интеграционных решений
- Понимание механизмов отказоустойчивости, контроля качества данных и мониторинга потоков обработки
- Опыт работы с Docker/Kubernetes и CI/CD будет преимуществом
Условия: - Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
- Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
- Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
- Сложные и интересные задачи, современный стек технологий
•Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного - Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
- Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
- Доступ к бесплатным корпоративным библиотекам Alpina Digital, МИФ и бизнес-изданий
Предлагаем присоединиться в роли Data Engineer!
- возможность прокачать экспертизу в быстроразвивающейся и насыщенной области;
- возможность быть частью изменений, улучшений, запусков новых направлений.
Чего мы ждем от специалиста?
- опыт работы в роли Data Engineer от 4-х лет;
- опыт работы с Qlik Talend (ETL);
- знание Talend Studio и Talend Data Quality на экспертном уровне;
- знание английского языка на уровне B2 и выше.
- опыт работы с Qlik Data Catalog, Impala, Spark, Iceberg.
Что мы предлагаем?
-
Хорошая зарплата: уровень обсуждается индивидуально, есть доплаты за менторство и профактивности.
-
Развитие: долгосрочные проекты от российских заказчиков, возможность менять направления, прозрачная система Performance Review.
-
Комфорт и свобода: релокейт между офисами, выбор формата работы (удалённо, офис, гибрид), адаптация для новых сотрудников.
-
Обучение: доступ к корпоративному порталу, митапам, конференциям (и как гость, и как спикер).
-
Социальный пакет: ДМС со стоматологией, частичная компенсация спорта, бесплатный английский, оплачиваемый отпуск и больничные.
-
Корпоративная жизнь: тимбилдинги, детские праздники, внутренние мероприятия.
Наши офисы:
-
Москва (ул. Вильгельма Пика, 11, БЦ «Ботаника», 13 эт., оф. 1310),
-
Санкт-Петербург (Владимирский проспект, д. 23, 8 этаж),
-
Казань (Н. Ершова, 76/1),
-
Самара (IT парк Монте Роза).
Откликайтесь, если вы готовы расти и развиваться вместе с командой ASTON! Наш рекрутер свяжется с вами, чтобы обсудить детали.
Смотрите также в каталоге
Хотите персональную подборку?
Введите свои критерии — мы отфильтруем вакансии по вашим требованиям
Найти подходящие вакансии →