Data Engineer — свежие вакансии
Обновляется каждый час. Найдено: 94 вакансий за последнюю неделю.
HireSeeker — агрегатор вакансий. Собираем вакансии со всех основных площадок и показываем по вашей специальности. Подпишитесь на ежедневную подборку только релевантных.
Наша задача — развитие лотерейной культуры в России. Сделать лотереи по-настоящему национальной традицией, объединяющей поколения, где каждый сможет найти свою игру.
В связи с развитием компании ищем в нашу команду Data engineer.
ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:
- Разработка, поддержка и оптимизация ELT и CDC процессов загрузки данных из источников (bash, python, airflow, peerdb) в соответствии с архитектурными стандартами;
- Построение, поддержка и оптимизация обработки данных в Datalake и сырого слоя DWH (s3, clickouse, dbt, airflow);
- Отслеживание полноты, качества и описания данных из источников (dbt, openmetadata);
- Организация и заключение контрактов на поставку данных из источников (dbt, openmetadata);
- Настройка системы оповещений: Messenger/email уведомления о проблемах качества, SLA нарушениях, падениях загрузок и отчетности (airflow);
- Полное описание объектов сырого слоя: dbt docs, data catalog;
- Ведение переговоров с владельцами источников данных;
- Консультации дата-аналитиков по источникам данных;
- Консультации и обмен знаниями с пользователями об источниках данных.
МЫ ОЖИДАЕМ:
- Знания основ промышленной разработки программного обеспечения и его беспрерывной доставки;
- Знания способов взаимодействия компьютерных систем при передачи данных;
- Знания архитектуры построения озер и хранилищ данных, теорию СУБД;
- Навыки использования Linux на уровне продвинутого пользователя;
- Навыки виртуализации и контейнеризации;
- Знания основ информационной безопасности;
- Опыт организации сбора из внешних и внутренних источников по сетевым протоколам и прикладным API;
- Опыт организации хранения и обработки данных в корпоративном озере и хранилище данных: Minio S3, Clickhouse, PostgreSQL;
- Опыт использования декларативных языков запросов и разметки: SQL (приоритет Clickhouse), regex, jinja, yaml, json;
- Опыт использования Docker и Kubernetes как среды исполнения ПО в Linux окружении;
- Навыки программирования на языках: Python, Bash;
- Владение инструментами Data стека: Aiflow, dbt, PeerDB;
- Владение инструментами локальной разработки: VS Code, DBeaver, Jupyter;
- Владение инструментами CI\CD: Gitlab
- ВАЖНО: готовность пройти испытательный срок (3 месяца) в офисе (Москва).
МЫ ПРЕДЛАГАЕМ:
-
Оформление согласно ТК РФ;
- Возможен офисный, гибридный или удаленный формат работы;
- График работы 5/2, время работы 9-18/10-19;
- Реальная возможность карьерного роста - штат компании за последний год увеличился в два раза, в первую очередь мы рассматриваем кандидатов на повышение из внутреннего кадрового резерва;
- ДМС со стоматологией после испытательного срока;
- Современный стек технологий, масштабные интересные задачи;
- Корпоративная скидка для сотрудников на покупки через BestBenefits — сервису скидок и привилегий для приобретения различных товаров и услуг;
- Возможность найти друзей по интересам — в офисе есть команда футбольного клуба, обучающий портал и много других интересных мероприятий.
Старший разработчик DWH MS SQL Server (Senior DWH Developer)
Cotton Club — ведущий российский производитель, эксперт в чистоте и гигиене, один из лидеров на рынке FMCG в категориях ватной продукции и жидкого мыла. Наша продукция производится в 6 ключевых категориях: гигиена, косметика, чистота, детство, подгузники и товары для дома. В наш портфель входят такие известные бренды, как: Я САМАЯ, AURA, QUALITA, Солнце и Луна и другие.
Обязанности:
- Разработка и поддержка ETL/ELT-процессов: загрузка, трансформация и валидация данных.
- Самостоятельная проектировка и разработка аналитических витрин данных для бизнес-подразделений с учетом требований к производительности и масштабируемости.
- Реализация интеграционных решений: подключение и маппинг данных из учётных систем (1С, CRM, ERP) и внешних источников (API, файлы).
- Перенос существующих процессов загрузки в Apache Airflow: написание DAG'ов, настройка расписаний, обработка ошибок.
- Проведение код-ревью, контроль соблюдения стандартов разработки и лучших практик (SQL, Python, Git).
- Разработка скриптов загрузки сырых данных из системы 1С через 1С-Шину с использованием Python.
- Техническая поддержка и менторство junior- и middle-разработчиков: помощь в решении сложных задач, разбор архитектурных паттернов.
- Постепенное расширение зоны ответственности: от реализации задач к участию в проектировании подсистем.
- Участие в развитии и оптимизации существующей архитектуры хранилища данных (методологии Data Vault 2.0, MS SQL Server).
- При достижении необходимых результатов — переход на позицию архитектора DWH.
Требования:
- Знакомство с основными моделями КХД: понимание особенностей и различий, опыт реализации на реальных проектах.
- Опыт проектирования и разработки ETL-процессов различной сложности.
- Продвинутый уровень знания T-SQL (MS SQL Server).
- Привычка писать читабельный, структурированный код.
- Навык оптимизации запросов.
- Опыт разработки на Python для задач интеграции и автоматизации.
- Опыт работы с Apache Airflow: умение писать DAG, настраивать сенсоры, работать с операторами и решать проблемы производительности.
- Понимание принципов работы 1С-Шины (или аналогичных Enterprise Service Bus) и опыт интеграции с платформой 1С.
- Опыт работы с системами контроля версий (Git).
- Навыки менторства и умения объяснять сложные технические концепции простым языком
-
Высшее техническое образование, опыт работы архитектором / ведущим разработчиком от 3 лет, ОБЯЗАТЕЛЬНО опыт разработки в MS SQL Server не менее 2 лет
Условия:
- Работа в стабильной, динамично развивающейся компании (мы 20+ лет на российском рынке)
- Честность и прозрачность: официальное трудоустройство по ТК, регулярная зарплата, оплата больничных и отпусков
- Конкурентная заработная плата, о которой договоримся в соответствии с уровнем и компетенциями кандидата
- Работа с брендами, которые есть в каждом доме
- Возможность как вертикального, так и горизонтального роста и развития в компании
- Обучающие мероприятия, внутренние тренинги, возможность профессионального развития за счет компании
- Корпоративные занятия спортом: йога
- ДМС после испытательного срока с возможностью подключения членов семьи
- Здоровая внутренняя среда, сплоченная команда, где развита культура взаимопомощи
- Интересная и активная жизнь в команде: wow-корпоративы, тимбилдинги, спортивные и познавательные мероприятия
- График работы: понедельник-пятница, 8.00/09.00 - 17.00/18.00 (форматы работы: гибрид/2-3 дня офис в неделю)
Команда Блока «Сеть Продаж» в поиске Дата-инженера.
Мы разрабатываем и внедряем end-to-end решения на основе больших данных в бизнес-процессы банка, связанные с обслуживанием клиентов.
-
Анализ, загрузка, очистка и трансформация больших объемов данных из различных автоматизированных систем банка (анализ структуры, качества, полноты и применимости данных) в рабочую область на платформе MPP СУБД Greenplum/Hadoop
-
Проектирование и разработка аналитических витрин данных
-
Контроль качества загружаемых данных (реализация сложных проверок качества, проведение корректировок данных большого объема)
-
Реализация ETL-процессов, участие в подготовке внедрения релизов в промышленную среду
-
Разработка и поддержка ETL-процессов загрузки данных в/из хранилища с использованием Python
-
Поиск и предоставление данных по запросу внутренних и внешних заказчиков
-
Расчет сложных аналитических показателей в витринах данных.
-
Релевантный опыт работы от 2-х лет
-
Уверенное владение SQL (аналитические функции, подзапросы, хранимые процедуры/функции, оптимизация производительности)
-
Опыт работы с реляционными базами данных (PostgreSQL)
-
Опыт использования экосистемы Hadoop: HDFS, Spark, Hive
-
Умение оптимизировать программный код в соответствии с особенностями архитектур хранения данных
-
Продвинутые аналитические навыки и вариативное видение решения задач
-
Ориентация на достижение результата, внимательность к деталям, коммуникабельность.
-
комфортный современный офис рядом с м. Кутузовская
-
ежегодный пересмотр зарплаты, годовая премия
-
корпоративный спортзал и зоны отдыха
-
более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
-
расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
-
ипотека для сотрудников выгоднее до 4%
-
бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
-
вознаграждение за рекомендацию друзей в команду Сбера.
Чем предстоит заниматься
- Проектирование и развитие масштабируемой data-инфраструктуры (batch и streaming-пайплайны).
- ClickHouse (MergeTree), S3 Data Lake, Kafka, Airflow (ETL/ELT).
- Архитектура и реализация витрин данных для аналитики, ML и AI-агентов.
- Поддержка и написание пайплайнов ETL/ELT (dbt/Airflow/Spark/Kafka/etc.).
- Оптимизация производительности, стоимость хранения и потребление данных.
- Внедрение и поддержка стандартов CI/CD и мониторинга пайплайнов.
- Работа в связке с аналитиками, ML-инженерами, разработчиками и продуктами.
- Участие в построении feature store, ML-инфраструктуры и поддержке GenAI-систем.
Наши пожелания к кандидатам
- 3+ лет опыта работы с данными в роли Data Engineer.
- Опыт проектирования data-платформ в продакшене (от ingestion до витрин).
- Отличное знание SQL, Python (или Scala), опыт работы с Apache Airflow, Spark, Kafka.
- Опыт построения CI/CD процессов и мониторинга data pipeline’ов.
- Понимание принципов data governance, data quality и data contracts.
Будет плюсом:
- Знакомство с практиками MLOps и GenAI pipeline’ами (например, RAG, LangChain).
- Опыт взаимодействия с ML-инженерами: подготовка фич, поддержка feature store.
- Опыт руководства командой или отдельных проектов как технический лидер.
Что мы предлагаем
- Стабильную работу в одном из крупнейших банков страны.
- Конкурентную заработную плату, соцпакет.
- Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития).
- Дружный коллектив единомышленников.
- Передовой стек технологий, высокопроизводительное оборудование.
- Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию, возможность существенно влиять на результат.
- Квартальный бонус по результатам работы.
- ДМС, страхование жизни.
- Корпоративное обучение.
- Работа у трижды лучшего работодателя РФ по версии hh.ru, Forbes, РБК.
- Программа развития AI-грамотности: треки по работе с нейросетями от базового до продвинутого уровня.
Команды CDO B2C в поиске Data engineer в сфере управления данными и data-продуктами.
Наша команда отвечает за управление всеми данными B2C сегмента клиентов Сбера. Мы уже трансформировали подход к управлению данными, построили единый слой детальных данных и продолжаем развивать его актуальность и полноту. Так же перед нами стоят амбициозные задачи построения единого слоя агрегатов и фичей B2C, реализация всего тракта поставки данных в RealTime и внедрения нового стека технологий, что позволит создать единую точку правды для упр. отчетности, моделей и фронтальных систем, а так же капитализировать данные за счет их многократного переиспользования.
Мы ищем опытного и амбициозного data-инженера, который готов вместе с нами создать будущее данных Сбера!
Обязанности
- разработка DWH/DataLake/LakeHouse
- построение поставки данных в RealTime/NRT/Batch
- проведение код-ревью других разработчиков
- оптимизация ETL
- повышение актуальности данных
- снижение latency доступа к данным
- разработка и валидация архитектуры данных
Требования
- отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
- опыт работы с Hadoop, Spark, Iceberg/Paimon, S3
- опыт работы с Kafka и др. Брокерами
- опыт работы с оркестраторами (например, Airflow) и CI/CD
- опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)
- опыт кратной оптимизации ETL
- практическое знание python на уровне разработки ETL
- практическое знание java/scala будет преимуществом
- практический опыт создания и защиты архитектуры данных будет преимуществом
- практический опыт разработки solution-архитектуры data-продуктов будет преимуществом
Условия
- офисный (метро Кутузовская) формат работы
- годовой бонус и ежегодный пересмотр
- расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
- корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
- офис на Кутузовской с зонами отдыха и спортзалом
- льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров.
ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.
Мы, команда офиса CDO B2C, строим платформу данных, которая обеспечивает быстрый, надежный и качественный обмен информацией между Сбером и компаниями-партнерами. Это основа для персонализированных предложений умных продуктов и эффективных бизнес-решений.
Наша команда - Команда развития Платформы в офисе CDO B2C ищет Инженера данных для реализации задач по загрузке, аналитике и трансформации данных.
-
проектировать и реализовывать ETL/ELT-пайплайнов для загрузки и обработки данных (включая DAG в Apache Airflow)
-
оптимизировать и сопровождать процессы обработки больших данных (Apache Spark, Apache Flink)
-
интегрировать источники данных (базы данных, API, файловые хранилища) в единую pipeline-архитектуру
-
настраивать и администрировать Airflow для оркестрации workflows
-
участвовать в разработке архитектуры хранения и обработки данных (включая Hadoop-экосистему)
-
документировать решения и формировать базу знаний
-
высшее техническое образование
-
опыт разработки ETL/ELT-процессов (реализация, оптимизация, мониторинг)
-
профильное владение Python (включая библиотеки для работы с данными)
-
практический опыт с распределенными вычислениями: Apache Spark (PySpark/Scala) или Apache Flink
-
базовые знания Scala (или готовность к изучению)
-
глубокое понимание SQL и опыт работы с РСУБД (PostgreSQL, MySQL и др.)
-
знание Apache Airflow (создание DAG, настройка сенсоров, операторов)
-
навыки администрирования Linux (развертывание, мониторинг, troubleshooting)
будет преимуществом
-
навыки работы с генеративными AI-моделями
-
опыт с Hadoop (HDFS, YARN, Hive)
-
знание облачных платформ (AWS S3/Glue, GCP BigQuery, Azure Data Factory)
-
навыки автоматизации (Ansible, Terraform)
-
опыт работы со стриминговыми данными (Kafka, Debezium)
-
офисный/гибридный формат работы (Москва, Санкт-Петербург)
-
годовой бонус и ежегодный пересмотр
-
расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
-
корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
-
льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров.
Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.
Рекомендации - команда занимается построением платформой данных для обеспечения стабильной работы ML специалистов и продуктовых аналитиков для отдела разработки рекомендательных систем. В наши задачи входят задачи как забора данных так и развитие хранилищ для работы с ними.
Наш стек: Greenplum, Hadoop/HDFS, Apache Iceberg, Trino, Airflow, Kafka, Spark, ClickHouse.
Обязанности
- Поддерживать пайплайны на Greenplum;
- сопровождать и оптимизировать существующие ETL/ELT-процессы: мониторинг, диагностика деградаций, партиционирование, работа с каталогом;
- заниматься интеграциями новых источников;
- подключать новые продуктовые команды и внешние источники: технический ресёрч, проектирование схем интеграции, data contracts.
- Взаимодействие с владельцами источников на уровне технических требований;
- участие в миграции: перепроектирование слоёв под Iceberg (partitioning, schema evolution, snapshot management), понимание компромиссов MPP vs object storage.
Требования
- Владеете опытом с Airflow как оркестратором;
- имеете работы с Hadoop (Spark/Yarn/Hdfs);
- имеете работы c Greenplum или другими MPP-системами;
- работали с Trino как query engine.
Условия
- Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
- Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
- Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
- Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
- Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
- Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.
Реклама Яндекса — это одна из крупнейших рекомендательных платформ, ежесекундно обрабатывающая миллионы запросов. За доли секунды надо решить, что и как показать конкретному человеку под конкретный поисковый запрос. Эти решения принимают сразу несколько алгоритмов, многие из которых — нейронные сети.
Наша команда создаёт технологические рантайм- и офлайн-решения, которые автоматизируют генерацию рекламных текстов для тысяч бизнесов. Наши модели адаптируют объявления под конкретного пользователя и его запрос, помогая рекламодателям получать лучший результат, а пользователям — более релевантный опыт.
Мы не просто пишем промпты для LLM, а имеем дело с различными способами обучения (включая RL) и дообучения, улучшаем пайплайны и разрабатываем метрики качества. Большая часть работы — это создание гипотез и их проверка через A/B-эксперименты.
Наши решения напрямую влияют на опыт миллионов пользователей Поиска и десятки тысяч бизнесов России. Вы будете работать в команде сильных исследователей и инженеров с доступом к большим вычислительным ресурсам и возможностью быстро внедрять свои решения в продакшен!
Разработка и улучшение LLM для генерации рекламных текстов
Вы будете готовить и собирать датасеты, дообучать модели — от промптинга и fine-tuning до обучения с подкреплением.
Создание и проверка гипотез
Вы станете быстро тестировать обученные модели в A/B-экспериментах на реальных пользователях.
Работа с продуктовыми метриками
Вам предстоит анализировать влияние моделей на CTR, конверсии, выручку Яндекса и качество отображаемой рекламы.
Больше об ML в Яндексе — в канале Yandex for ML
* Имеете опыт в NLP
* Понимаете основные принципы ML и DL
* Знаете SQL
* Умеете формулировать гипотезы и анализировать результаты экспериментов
* Готовы работать с большими данными и продакшен-задачами
* Быстро разбираетесь в новых технологиях
* Работали с LLM или RL
* Следите за трендами в DL
В Финтехе мы создаём платёжные продукты, сервисы и инструменты для управления личными финансами. Финтех уже превратился из стартапа в полноценный и крайне важный продукт.
Сейчас мы собираем новое — аналитическое — хранилище данных и формируем для этого команду. В хранилище нет легаси, поэтому у вас будет возможность оказаться у истоков нового проекта. У нас большие планы — приходите помогать их реализовать!
Строить ETL-процессы
Нужно извлекать из источников ценную информацию, обрабатывать её и представлять в виде, удобном для аналитиков. Сложность пайплайнов может варьироваться от простых инжестов данных из внешней среды и приземления результата в хранилище до витиеватых графов со множеством инпутов и аутпутов.
Оптимизировать логику
Как известно, у нас нет собственного легаси, но мы часто работаем с прототипами, реализованными аналитиками, чьё представление о прекрасном может не совпадать с нашим. Поэтому мы распутываем нетривиальную логику и предлагаем более строгую, консистентную и оптимальную, ориентируясь на большие объёмы данных.
Обеспечивать доступность сервиса
Олимпиадный подход подразумевает одноразовость результата. Мы преследуем совсем другие цели, поэтому максима «сработало раз — и ладно» не о нас. Идеал такой: хранилище обеспечивает регулярную поставку с минимально возможным количеством сбоев, а данные — корректны, полны, непротиворечивы и отвечают самым строгим стандартам качества.
Проектировать структуру хранилища
Лучшее аналитическое DWH ещё только в планах. Мы хотим заложить основы, которые позволят ему быстро развиваться, обрастая при этом не «костылями» и «велосипедами», а современными инженерными практиками и подходами.
Взаимодействовать с аналитиками
Они наши главные и любимые заказчики. Вместе с ними вам предстоит обдумывать бизнес-задачи, иногда вы будете спорить, но в итоге — находить оптимальные решения. Неотъемлемая часть этого процесса — накапливание личного опыта в бизнес-домене Финтеха. Прибавим сюда рост инженерного опыта — и получим двойную выгоду. Почти как у Яндекс Пэй.
* Уверенно программируете на Python
* Хорошо знаете SQL и понимаете устройство современных СУБД
* Понимаете и можете объяснить необходимость непрерывной интеграции и доставки (CI/CD), преимущества использования систем контроля версий, код-ревью, тестирования и мониторинга
* Работаете в командной строке Unix-подобных систем (Linux, macOS)
* Создавали сложные высоконагруженные ETL- и ELT-процессы (Hadoop, Hive, Spark)
* Разрабатывали процессы обработки событий, приближенные к реальному времени (Kafka, Spark Streaming, Flink)
* Участвовали в проектировании хранилищ данных
* Работали по методологии Agile
* Руководили стажёрами или начинающими специалистами
* Знакомы со специализированными аналитическими БД (Greenplum, Vertica, ClickHouse, Teradata) и аналитическими инструментами на базе Python (Jupyter, pandas, SciPy, Matplotlib)
* Публикуете свой код в доступном репозитории, пишете статьи, выступаете на конференциях
Приглашаем присоединиться к проекту направленного на реализацию комплексного решения по индивидуализации ценообразования банковских продуктов физ.лиц. Наша цель – создание автономной расчетной системы для анализа сценариев, поиска оптимального сценария и его реализацию через индивидуальное предложение клиенту с использованием автономных AI агентов. Мы хотим построить передовую в РФ экосистему с принципиально новым клиентским опытом.
Ключевые направления: индивидуализация ценового предложения продуктов кредитов физ.лиц, дебетовых и кредитных карт, вкладов, текущих счетов, инвестиционных продуктов, линейки подписок и пакетов, создание ИТ решения управления лимитами и полномочиями продающих подразделений банка; создание инструментов для расчета экономической эффективности финансовых пилотов.
-
проектирование и реализация высоконагруженных распределённых решений на основе Apache Spark
-
разработка batch и streaming ETL-процессов
-
поддержка архитектуры корпоративных хранилищ данных (DWH, Data Lake, LakeHouse)
-
создание и оптимизация запросов на SQL и Spark SQL
-
участие в архитектурных сессиях и проектирование дизайна системы
-
проведение code review, обеспечение соблюдения стандартов кодирования.
-
опыт разработки на Python от 3-х лет, с использованием pySpark
-
опыт работы с python data фреймворками (Pandas/Numpy)
-
понимание принципов SDLC и практический опыт создания python приложений с использованием распределенных вычислений, понимание принципов ООП, SOLID, паттернов проектирования
-
отличные знания SQL (Advanced) и опыт работы в аналитике данных (DWH, Data Lake, Lake House)
-
опыт в построении ETL
-
опыт работы с AI инструментами для повышения эффективности
понимание принципов CI/CD, подходов обеспечения качества.
Будет плюсом:
-
навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
-
опыт работы с Kafka, интеграционных взаимодействий (HTTP, REST, GraphQL)
-
опыт работы с Docker, Kubernetes
-
понимание основ Machine Learning (ML)
-
желание развивать навыки в технологиях genAI (Agentic, RAG etc.).
-
только гибридный формат работы, г. Москва, г. Санкт-Петербург, г.Самара
-
годовой бонус и ежегодный пересмотр зарплаты
-
расширенный ДМС с первого дня и льготное страхование для семьи
-
корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
-
гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
-
бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
-
вознаграждение за рекомендацию друзей в команду.
Мы ищем Data engineer в команду развития специализированных витрин данных.
Чем предстоит заниматься:
-
разрабатывать и поддерживать витрины данных в облачной экосистеме
-
проектировать и улучшать архитектуру системы
-
разрабатывать и оптимизировать пайплайны обработки данных/ETL на Python / Scala, а также помогать другим командам
-
внедрять контроль качества данных (SODA).
-
высшее образование
-
опыт в аналогичной роли от 3 лет
-
понимание принципов модели распределенных вычислений
-
опыт в поиске, обработке и построении витрин данных при помощи Spark и SQL
-
опыт промышленной разработки на стеке Scala/Java/Python
-
знание и опыт использования инструментов по обработке больших данных (Spark, Trino, Polars и др.)
-
опыт работы со стримингом (Flink, Spark Streaming, Kafka и др.)
-
хорошие знания SQL, опыт работы с одной из реляционной БД - Oracle/PostgreSQL/mySQL/MS SQL Server
-
опыт работы с S3, HDFS
-
знание любого оркестратора (AirFlow/Oozie/Dagster/Argo Workflows)
-
понимание подходов к организации разработки (CI/CD, DevOps).
Будет плюсом:
-
опыт работы с Iceberg
-
опыт работы с DataHub/OpenMetaData
-
опыт работы с SODA/GreateExpectation
-
опыт работы с ClickHouse
-
опыт работы с Kubernetes
-
навыки работы с генеративными AI-моделями
-
опыт создания AI-агентов и использования их в работе будет преимуществом.
-
офис рядом с метро Маяковская
-
гибридный формат работы
-
годовой бонус и ежегодный пересмотр
-
расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
-
корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
-
90 дней удаленной работы из любого региона РФ
-
льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.
В VK Tech строим высоконагруженное хранилище данных, которое обслуживает ключевые аналитические и бизнес-задачи.
Сейчас наша вычислительная платформа — YTsaurus (YT), но мы также используем экосистему Hadoop/Spark. Рассматриваем возможность миграции на свою платформу в виде S3 + Spark.
У нас можно получить уникальный опыт: не просто читать статьи про Spark, а переписывать пайплайны, сравнивать подходы, настраивать performance и участвовать в принятии архитектурных решений. Это даст вам глубокое понимание обеих экосистем.
Задачи
- разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow;
- оптимизировать запросы и распределённые вычисления под ClickHouse и YT;
- мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость;
- помогать аналитикам с оптимизацией их SQL-запросов и структур данных;
- проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD);
- участвовать в миграции вычислительной платформы с YT на Hadoop/Spark.
Требования
- опыт разработки и поддержки ETL-процессов на Python + Airflow;
- уверенное знание SQL (JOIN, оконные функции, CTE, агрегации);
- понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds;
- опыт оптимизации запросов в распределённых системах (ClickHouse или Spark);
- знание Git (ветки, коммиты, pull requests, code review);
- умение читать и анализировать чужой код.
Будет плюсом
- реальный опыт с YTsaurus (YT);
- коммерческий или уверенный учебный опыт с Hadoop/Spark;
- опыт миграции пайплайнов с одной вычислительной платформы на другую;
- навыки работы с DBT (у нас есть свой похожий инструмент);
- понимание жизненного цикла данных (загрузка, трансформация, выгрузка).
Мы - команда разработки Аналитической Платформы (АПЛ) розничного взыскания, занимаемся разработкой дата-продуктов на основе большого объема данных и ищем высоквалифицированного разработчика / дата инженера хранилища данных, способного принять активное участие в развитии нашей аналитической платформы (тех стек Greenplum / PostgreSQL / Hadoop).
АПЛ - это платформа с 3000+ активных пользователей, предоставляющая возможность разработки аналитических продуктов на основе современной микросервисной архитектуры с использованием стека Greenplum, PostgreSQL, Openshift, Hadoop экосистемы (Spark и т.д. ), Apache Airflow, Python, Java, Java script.
Задачи:
- поиск и анализ источников данных
- аналитика и проектирование витрин данных под потребности бизнес-заказчиков
- разработка витрин данных на основе Greenplum (PL/pgSQL) и Hadoop (Java spark) и вывод их в пром в соответствии с банковским релизным процессом
- подготовка и сборка дистрибутивов, сопровождение по стендам разработки и тестирования
- разработка решений потоковой обработки данных в режиме Near Real Time (NRT) и пакетной(Batch)
- выстраивание и оптимизация производительности ETL-процессов
- оптимизация существующих разработок
- разработка и поддержка сопроводительной документации и спецификаций данных, базы знаний по вопросам работы с данными.
Мы ждем от кандидата:
- опыт работы дата-инженером от 2-х лет с MPP и реляционными СУБД: Greenplum, PostgreSQL, способность выбирать архитектурные паттерны, связанные с этими особенностями будет являться преимуществом
- уверенное знание SQL: агрегатные, аналитические функции, опыт написания и оптимизации сложных запросов, программных единиц на PL/pgSQL
- опыт разработки и внедрения корпоративных хранилищ данных (DWH)
- опыт работы с CI/CD решениями на базе Jenkins и Bitbucket/Git
- навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.
Мы предлагаем:
- комфортный офис по адресу г. Новосибирск
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- вознаграждение за рекомендацию друзей в команду Сбера.
#вакансия #аналитик #dwh #кхд #sql #oracle #postgresql #datalake #etl #greenplum #clickhouse #tableau #банки #финтех
🏦 Senior Аналитик КХД (DWH)
Ищем Senior аналитика КХД в команду крупного банковского проекта, связанного с развитием корпоративного хранилища данных и расчётом кредитных рисков.
📍 Формат работы: удалённо / гибрид
💵 ЗП: от 200 000 ₽ на руки (обсуждается индивидуально)
🛠 Чем предстоит заниматься
— Разрабатывать новые и дорабатывать существующие витрины данных в рамках проекта перехода Банка на ПВР
— Разрабатывать и внедрять промышленную витрину дефолтов
— Работать с историческими данными и интегрировать их в действующие потоки данных
— Проектировать объекты БД
— Описывать потоки загрузки данных в DWH
— Подготавливать техническую документацию (Source2Target, ТЗ)
— Участвовать в развитии корпоративного хранилища данных
🔎 Что ожидаем
— Высшее техническое, экономическое или естественнонаучное образование
— Опыт работы с DWH и/или Data Lake от 3 лет
— Глубокое знание SQL (Oracle, PostgreSQL)
— Опыт написания сложных SQL-запросов
— Умение читать PL/SQL-код
— Опыт проектирования объектов БД
— Понимание архитектуры хранилищ данных
— Опыт подготовки Source2Target и технической документации
— Опыт работы с Jira
⭐️ Будет плюсом
— Informatica Power Center
— ClickHouse
— Greenplum
— Tableau
— MS SQL Reporting Services
— Опыт работы в банковском секторе
📩 Для отклика направляйте резюме в Telegram: @Vika_sysoeva
ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.
Ждем именно тебя!
Мы – новая команда в Блоке «Развитие клиентского опыта B2С, и мы ищем инженера данных, который присоединится к нашей команде и займётся разработкой и поддержкой витрин данных на базе Hadoop. Вам предстоит участвовать в разработке базовых и специальных витрин данных в Едином ПКАП B2C, готовить датасеты для обучения моделей в FeatureStore B2C, разрабатывать витрины данных на Hadoop в ПКАПе команды, реализовывать реплики в КАП Первичные данные.
-
Проектирование, разработка и сопровождение витрин данных на базе Hadoop;
-
Участие в разработке ETL-процессов для загрузки данных в витрины;
-
Поддержка и мониторинг работы витрин данных;
-
Взаимодействие с командами разработки и системными/дата-аналитиками по вопросам сбора, обработки и хранения данных;
-
Разбор инцидентов качества данных, развитие автоматизированных тестов (Data Quality);
-
Документирование разработанных решений.
-
Практический опыт в разработке витрин данных, выстраивании ETL-процессов;
-
Уверенное владение SQL (аналитические функции, подзапросы, хранимые процедуры/функции, оптимизация производительности), готовность к созданию инструментов для нужд инфраструктуры и разработки;
-
Опыт работы с Hadoop (HDFS, YARN, Hive) и Spark;
-
Знание Java/Scala и опыт разработки на нём;
-
Опыт разработки на Python;
-
Понимание инструментов и технологий Big Data;
-
Знание принципов построения распределённых систем хранения и обработки данных;
-
Опыт обработки и миграции больших объёмов данным между различными источниками;
-
Опыт работы с системами контроля версий (Git);
-
Навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом;
-
Опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки.
Будет плюсом:
-
Опыт работы с Kafka;
-
Опыт работы с CI/CD инструментами (Jenkins, GitLab CI);
-
Базовые знания Docker и иных технологий контейнеризации;
-
Опыт работы с системами Unix (bash).
-
Офисный формат работы (опционально)
-
Годовой бонус и ежегодный пересмотр
-
Расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
-
Корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
-
Офис на Кутузовской с зонами отдыха и спортзалом
-
90 дней удаленной работы из любого региона РФ (не применимо для сопровождения)
-
Льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.
КОГО МЫ ИЩЕМ
Middle Data Engineer
ЧЕМ МЫ ЗАНИМАЕМСЯ
Мы разрабатываем продукты для автоматизации процессов в области кибербезопасности, помогая компаниям эффективно управлять рисками и защищать свои системы. Команда работает над созданием надежных сервисов, которые интегрируют современные технологии для мониторинга, анализа и реагирования на угрозы. Это включает веб-сервисы, ETL-процессы и облачные решения на базе Kubernetes и Docker, с акцентом на масштабируемость и безопасность.
ЗОНА ОТВЕТСТВЕННОСТИ
-
Разрабатывать и поддерживать DAG в Apache Airflow
-
Программировать на Python, SQL
-
Проектировать и поддерживать API для взаимодействия с продуктовыми командами
-
Участвовать в разработке и применении моделей
-
Проводить код-ревью
ЧТО НУЖНО ДЛЯ ЭТОЙ РАБОТЫ
-
Python – ~2–3 года коммерческой разработки
-
Airflow – ~2–3 года коммерческой разработки
-
Docker / Kubernetes - базовые навыки
-
Опыт работы с Git (branching-стратегии, code review)
-
Продвинутый уровень владения SQL
-
Опыт работы с PostgreSQL, Clickhouse, ElasticSearch
Будет плюсом:
-
Опыт работы с большими объемами данных. Написание и оптимизация сложных SQL-запросов. Опыт работы с партиционированием, индексами, планами выполнения
ЧТО ПРЕДЛАГАЕМ
- Гибридный или удаленный формат работы
- ДМС с первого месяца работы — 100% покрытие всех медицинских расходов, включая стоматологию
- Выгодные скидки и специальные предложения от партнеров на фитнес, курсы английского и другие полезные активности
- Возможность регулярно повышать свой скилл: участие во внешних мероприятиях, митапах, обучениях, возможность ежегодной сдачи сертификаци
- Работа в команде опытных специалистов уровня Senior, победителей CTF соревнований
- Открытая и дружелюбная корпоративная культура, где каждый чувствует себя частью единой команды, общается на равных и всегда на «ты». Мы ценим вклад каждого, поддерживаем инициативность и создаём комфортные условия для профессионального и личностного роста.
ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ
Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения.
Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу.
Что нужно делать:
- Взаимодействовать с командой и заказчиком по уточнению требований.
- Анализировать чужой и писать свой код на SQL, Python, Spark
- Настраивать и поддерживать DAG-ов в Airflow для оркестрации процессов.
- Тестировать и отлаживать код, обеспечивать качество данных.
- Документирование (Confluence)
Что мы хотели бы видеть:
Must have:
- Глубокие знания SQL.
- Spark (в том числе оптимизации), Python
- Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.
- Знание архитектуры хранилищ
- Умение работать в команде и следовать процессам заказчика.
Желательно:
- Iceberg
- Kafka
- Scrum
- Знание экономики, финансов, банковской сферы.
Что ты приобретешь присоединившись к нам :
- Достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе;
- Работа в команде профессионалов готовых делиться экспертизой;
- Официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный пакет:
- Страховка ДМС (с 3-го месяца работы, стоматология, возможность подключения родственников, теле медицина, полис ВЗР),
- Сотрудникам со стажем в Neoflex более 3 месяцев при предоставлении листка нетрудоспособности устанавливается доплата до полного заработка за период болезни,
- Обучение детей сотрудников ИТ специальностям,
- Компенсация затрат на фитнес и занятия английским языком;
- Обеспечиваем техникой для работы (ноутбук, наушники, мышь),
- Профессиональное развитие - в Учебном Центре (курсы по работе с большими данными, видео лекции, тренажеры, карьерный коучинг, лекции, тренинги, конференции, участие в митапах);
- Возможность пройти проф.сертификацию;
- Прозрачную систему карьерного развития Performance Review;
- Персонального куратора с первого дня работы;
- Насыщенную корпоративную жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия, мотивационные награждения;
- Комфортную атмосферу в филиалах компании в городах: Москва, Санкт-Петербург, Нижний Новгород, Пенза, Воронеж, Саратов, Самара, Краснодар где есть лаунж и фотозоны, вендинги в кухнях, пространство для медитаций и другие секретные места, о которых знают только наши сотрудники.
Мечты и команды работают вместе. Мы будем рады, если ты станешь частью нашей команды! Откликайся
Мы находимся в поисках Дата-инженера на проект развития аналитического хранилища данных на базе GreenPlum
ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:
- Участвовать в развитии хранилища данных на Greenplum
- Разрабатывать ETL/ELT процесыов поставки данных
- Участвовать в формирование модели данных
- Проводить мониторинг и алертинг сервисов
НАШИ ПОЖЕЛАНИЯ К КАНДИДАТУ:
- Опыт в роли дата-инженера не менее 5-ти лет
- Опыт работы с Greenplum, понимание его особенностей
- Опыт в разработке ETL/ELT процессов
- Продвинутое владение SQL и Python
- Уверенное владение Airflow, DBT
- Знание принципов построения DWH
- Проектирование и разработка ETL/ELT;
- Создание, поддержка и оптимизация пайплайнов обработки данных с использованием Apache Airflow (написание DAG-ов, настройка сенсоров и операторов);
- Интеграция источников: Подключение и вычитка данных из различных систем: CRM, API, внешние базы данных (PostgreSQL, ClickHouse, HDFS);
- Разработка витрин данных: Построение и оптимизация витрин для BI-отчетности, написание сложных SQL-запросов и хранимых процедур;
- Внедрение систем мониторинга качества данных, логирования (Prometheus + Grafana) и проверки данных на всех этапах пайплайна;
- Ведение технической документации.
- Python: Опыт написания скриптов, работы с Pandas, API, написание промышленного кода SQL;
- Написание сложных запросов, оконные функции, оптимизация запросов, хранимые процедуры;
- Airflow: Разработка DAG-ов, настройка коннекторов, управление зависимостями, понимание архитектуры (Scheduler, Worker, Web Server);
- Системное мышление: Способность видеть картину целиком, а не просто выполнять задачу "скопировать таблицу";
- Проактивность: Умение задавать вопрос "Зачем?" и предлагать оптимизации архитектуры;
- Коммуникабельность: Готовность общаться с аналитиками( · Ориентация на результат: Понимание важности SLA (времени доставки данных) и качества данных;
- Будет плюсом · Опыт работы с PostgreSQL · Опыт администрирования самого Airflow (настройка, деплой).
Условия:
- Официальное трудоустройство по ТК РФ;
- График работы 5/2 офис, 8-часовой рабочий день;
- Корпоративные программы обучения и развития;
- Дружная команда профессионалов и поддержка на всех этапах.
Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.
Портал продавцов — это юнит со всеми продуктами WB для продавцов. Здесь есть личный кабинет, загрузка и хранение контента, интеграция с поиском и каталогом, баланс продавца, откгрузка товаров и доставка до покупателя, аналитика и многое другое. Это 1/4 всего бизнеса WB. В сервисе более 1 млн. поставщиков, ежедневный оборот - 5 млрд. рублей.
Вам предстоит:
- Участвовать в разработке production-ready пайплайнов обработки данных для инференса и обучения ML-моделей;
- оптимизировать имеющиеся SQL и pyspark скрипты;
- выполнять оркестрацию через Airflow;
- реализовывать интеграции ML-предиктов в смежные системы Заказчиков внутри компании;
- обеспечивать стабильность и отказоустойчивость работы пайплайнов сбора и трансформации данных ML-команды.
- Имеете уверенный опыт программирования на Python (не менее 2-х лет);
- владеете опытом работы с hadoop (spark/yarn/hdfs/hive), с apache Airflow / Dagster и со Spark (Pyspark);
- имеете опыт с Iceberg, Trino;
- имеете опыт в оптимизации SQL запросов (индексы, партицирование, шардирование и тд);
- владеете опытом работы с MPP СУБД (ClickHouse/GreenPlum/Vertica).
Мы делаем автомобили доступными.
Если тебе интересна стремительно растущая отрасль автолизинга – мы поможем тебе стать частью будущего нашей большой компании!
О команде:
- Молодая и дружная команда амбициозных специалистов (17 человек);
- Система наставничества (за каждым сотрудником закрепляется старший сотрудник);
- Занимаемся реальными задачами по анализу и развитию продуктов бизнеса;
- Команда функционально разделена на 4 трека:
- Аналитика данных (DA) - те, кто проверяют гипотезы;
- Моделирование данных (DS) - те, кто делают ML модели;
- Инженерия машинного обучения (MLE) - те, кто ML модели интегрирует;
- Инженерия данных (DE) - те, кто обеспечивает данными (ждём тебя именно сюда!);.
- Все задачи проходят валидацию на адекватность и логичность.
Обязанности:
- Выявлять узкие места и неоптимальные процессы в инфраструктуре данных, инициировать и реализовывать проекты по повышению производительности, стабильности и отказоустойчивости;.
- Проектировать и развивать стабильные и масштабируемые ETL/ELT-системы, хранилища и витрины данных, обеспечивать их надёжность и соответствие бизнес-требованиям;
- Контролировать и совершенствовать практики написания и оптимизации SQL-запросов
- Участвовать в архитектурных обсуждениях, предлагать и обосновывать технические улучшения, оценивать их влияние на текущие процессы;
- Организовывать эффективный мониторинг по критическим потокам данных, руководить действиями по оперативному устранению инцидентов;.
- Выступать ответственным по ветке задач: распределять работу между младшими коллегами, контролировать сроки и качество исполнения;
- Принимать участие в адаптации новых сотрудников и стажёров: помогать в адаптации, проводить проверку кода, давать развивающую обратную связь, способствовать росту их квалификации.
Требования:
- Опыт работы в должности аналитика данных, инженера данных или смежной области от 1-го года;
- Наличие опыта применения продвинутых методов анализа или реализации проектов по оптимизации и повышению стабильности систем обработки данных;
- Уверенное знание SQL (сложные запросы, оконные функции, оптимизация);
- Уверенное понимание ETL/ELT-процессов, опыт работы с инструментами интеграции и оркестрации данных (например, Airflow, dbt, NiFi или аналогами);
- Уверенные навыки программирования на Python для автоматизации задач обработки данных;
- Понимание архитектур хранилищ данных и принципов построения витрин данных;
- Глубокое понимание устройства и оптимизации реляционных баз данных, опыт настройки производительности;
- Логическое и системное мышление;
- Внимательность к деталям и осознанность при работе с данными;
- Коммуникабельность, умение работать в команде и выстраивать конструктивное взаимодействие;
- Стремление к обучению, быстрая адаптивность и высокая обучаемость;
- Организованность, способность эффективно планировать рабочее время, навыки приоритизации задач;
- Способность самостоятельно решать типовые задачи и действовать с повышенной автономией в рамках закреплённых зон ответственности;
- Умение брать ответственность за определённую область/домен данных, поддерживать её в актуальном состоянии.
- Официальное оформление в штат компании с первого рабочего дня;
- Возможность работать в удаленном формате;
- Добровольное медицинское страхование;
- Оплачиваемый больничный: в соответствии с ТК РФ+100% компенсация от компании до 10 дней больничного;
- Оплачиваемый отпуск: 28 календарных дней;
- Корпоративные предложения для сотрудников;
- Корпоративные скидки для сотрудников в Best Benefits;
- Онлайн тренировки и офлайн спорт (беговой клуб, футбол, волейбол, осанка, киберспорт, йога, настольный теннис), внешние соревнования (забеги, гонки героев);
- Угощения в офисе (фрукты, сырки, мороженое, соки);
- Широкий выбор профессиональной и художественной литературы в корпоративной электронной библиотеке;
- Программа управления талантами;
- Наставничество со стороны коллег и поддержка руководителя с первого дня работы;
- Возможность обучаться 24/7 в любое время и в любом месте, в том числе со смартфона;
- Удобный и быстрый поиск информации в Базе знаний Компании;
- Развитие компетенций через современные форматы обучения: интерактивные тренинги, развивающие бизнес-игры, обратная связь после оценочных мероприятий;
- Яркая корпоративная жизнь: конкурсы с ценными призами (поездка к морю и пр.), новогодние подарки и праздники для детей сотрудников;
- Комфортный офис: столовая и кафе в бизнес центре.
Senior Data / BI Engineer
Наш Клиент: Международная трейдинговая компания в сфере нефти и нефтепродуктов
Локация: Дубай, ОАЭ
Формат работы: офис, 5/2
Компания развивает направление аналитики товарно-сырьевых рынков и создает внутреннюю аналитическую платформу для трейдеров, аналитиков и руководства компании
Мы ищем специалиста, который будет развивать полный цикл построения аналитической среды: от загрузки данных до создания готовых дашбордов для бизнеса
Мы рассматриваем кандидата с опытом и навыками:
Высшее образование в области финансов, экономики, математики, риск-менеджмента или смежных направлений
Опыт работы от 5-ти лет в нефтетрейдинге, энергетике, сырьевых рынках или финансовом секторе
Опыт работы Data Engineer, BI Developer или на аналогичной позиции
Уверенное владение SQL
Хорошее знание Python для обработки данных и автоматизации (pandas, SQLAlchemy и аналоги)
Опыт работы с BI системами
Понимание принципов моделирования данных: star schema, dimensional modeling, dbt и аналогичные подходы
Опыт взаимодействия с бизнес-заказчиками
Свободное владение английским языком
Будет плюсом:
Опыт работы с платформами : Snowflake, BigQuery, Databricks
Опыт работы с Airflow, Prefect или другими системами оркестрации процессов
Знание поставщиков рыночных данных: Kpler, Platts, and OPIS (доступ предоставляется!)
Основные задачи:
Разработка и поддержка ETL/ELT- процессов для загрузки данных из внутренних систем и внешних источников
Построение и развитие централизованного хранилища данных по товарно-сырьевым рынкам
Создание аналитических отчетов и интерактивных дашбордов
Автоматизация процессов обработки и визуализации данных
Реализация бизнес-задач совместно с трейдерами, коммерческими и операционными подразделениями
Разработка аналитики по ценам, спредам, движению грузов, маржинальности и экономике хранения
Контроль качества данных, обеспечение их согласованности и документирование процессов
Сбор и анализ требований бизнеса, оперативная реализация новых аналитических инструментов
Оценка и внедрение новых источников данных и технологий
Мы предлагаем:
Работу в международной трейдинговой компании
Доступ к ведущим мировым источникам рыночных данных
Участие в построении внутренней аналитической платформы с нуля
Работу в Дубае (ОАЭ)
Офисный формат работы 5/2
Конкурентоспособный уровень дохода, который обсуждается индивидуально и зависит от опыта и экспертизы кандидата
EX CORP. — это место, где любовь к игровой индустрии и экспертиза в технологиях встречаются, чтобы вывести на новый уровень эмоции наших пользователей от соревновательных игр. Мы разрабатываем продукты, которые приносят новые впечатления и приумножают удовольствие от игрового процесса — от выбора скинов и прокачки персонажей до игровых энциклопедий, медиа и ИИ-ассистентов.
Один из ключевых продуктов — CS.MONEY, маркетплейс внутриигровых предметов CS2.
Чем предстоит заниматься
- Руководить небольшой командой Data-инженеров (2 человека).
- Развивать и масштабировать Data-инфраструктуру.
- Принимать архитектурные решения по DWH и пайплайнам.
- Проектировать и поддерживать ETL/ELT-процессы.
- Обеспечивать надежность и качество данных.
- Взаимодействовать с аналитиками и продуктовой командой.
Ждём от тебя
- 5+ лет опыта в Data Engineering / Analytics Engineering.
- Экспертное знание SQL и Python.
- Практический опыт с Airflow и dbt.
- Опыт работы с GCP / BigQuery.
- Опыт проектирования DWH и data pipelines.
- Опыт управления или лидерства в команде.
- Развитые коммуникационные навыки и ownership.
Будет плюсом
- Опыт работы с Kafka.
- Опыт разработки BI-отчетности.
- Опыт построения data-платформ с нуля или их масштабирования.
Причины работать с нами
- Увлечённая команда — создаём продукты, которыми сами пользуемся.
- Гибкий график и удалённая работа (GMT+1 – GMT+8).
- Постоянное развитие — обучение, курсы, книги.
- Бенефиты — ДМС, компенсации питания, спорта, хобби, английского и психолога.
- Влияние на продукт — участие в развитии одного из крупнейших брендов в киберспорте.
Ищем в команду аналитика данных, для улучшения операционного качества работы сотрудников наших офисов.
Обязанности
- сбор, обработка, анализ исходных данных
- подготовка презентационных материалов
- разработка алгоритмов в Greenplum
- контроль качества данных
- взаимодействий с бизнес подразделением (проведение очных встреч, теле и видео коммуникаций).
Требования
- высшее образование
- уверенное знание SQL, (опыт написания сложных запросов, хранимых процедур)
- высокий уровень знания Excel (PowerPivot, PowerBi)
- опыт рефакторинга кода, оптимизации
- умение читать чужой код
- будет плюсом: опыт работы в банковской сфере, опыт работы с Greenplum, Teradata, знание Python.
Условия
- ежегодный пересмотр зарплаты, годовая премия
- расширенный ДМС с первого дня и льготное страхование для близких
- уникальная система обучения Сбера для профессионального и карьерного развития
- бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера
- ипотека выгоднее до 4% для каждого сотрудника
- корпоративная пенсионная программа
- комфортабельный офис м. Новослободская
Привет! Давай знакомиться!
Точка Сверки - динамично развивающаяся консалтинговая компания.
Одна из главных болей крупных селлеров - потеря товара на складе. Мы помогаем оптимизировать процессы и находить расхождения в товародвижении.
Сейчас мы ищем разработчика для усиления команды по работе с данными. Ключевая особенность позиции - кандидат должен активно использовать AI-инструменты (ChatGPT, Copilot, Cursor и т.д.) в повседневной работе для ускорения написания кода, отладки и оптимизации запросов. Мы ищем не просто программиста, а "ускорителя", который понимает, как нейросети могут повысить его личную продуктивность и качество кода.
Чем предстоит заниматься:
• Разработка и поддержка парсеров для сбора данных из внешних источников.
• Проектирование ETL-пайплайнов с очисткой и аггрегацией данных.
• Оптимизация скорости работы запросов в Clickhouse и PostgreSQL.
• Интеграция подготовленных данных в систему отчетности (в т.ч. помощь в настройке PowerBI).
• Внедрение AI-помощников в процессы команды для сокращения времени на рутину.
Что мы ждем от кандидата
• Уверенное знание Python (типизация, асинхронность, ООП).
• Опыт работы с PostgreSQL (написание сложных запросов, индексация, оптимизация).
• Опыт работы с Clickhouse (написание запросов, понимание специфики колоночных БД).
• Опыт разработки и поддержки ETL-процессов (извлечение, трансформация, загрузка данных).
• Умение писать парсеры (работа с HTTP-клиентами, XPath/CSS, обход антибот-защиты).
• Проактивность
• Обучаемость
Будет большим плюсом:
• Опыт визуализации данных в PowerBI (настройка датасетов, меры DAX, соединение с источниками).
Мы предлагаем:
• Удаленный формат работы.
• График работы: с 9 до 18, 5/2.
• Уровень дохода - напрямую зависит от вашего опыта и навыков.
• Условия для профессионального и личностного развития.
• Открытая корпоративная культура: поддержка инициативности, возможность создавать крутые проекты и развиваться вместе с командой.
Мы стремимся к постоянному развитию и ищем единомышленников! Если ты готов расти вместе с нами, ждем твой отклик!
Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.
Продукт: Цифровое правосудие - продукт который занимается созданием единой цифровой платформы судов общей юрисдикции города Москвы. Основная задача состоит в автоматизации и модернизации процессов судебного делопроизводства, а также в обеспечении эффективного взаимодействия судов с различными органами исполнительной власти и жителями города.
Что нужно делать:
- проектировать и реализовывать ETL-процессы для извлечения, трансформации и загрузки данных из разнородных источников (SQL/NoSQL СУБД, Kafka, S3, OpenTelemetry и др.)
- разрабатывать и поддерживать метаданные аналитического хранилища с использованием OpenMetadata (включая кастомизацию системы)
- внедрять процессы обеспечения качества данных и метаданных (валидация, мониторинг, алертинг)
- соблюдать стандарты OpenLineage для отслеживания происхождения данных (data lineage) на всех этапах ET
- проектировать и создавать витрины данных: разрабатывать схемы и представления (views) в PostgreSQL
- создавать и поддерживать коннекторы к различным источникам данных
- оптимизировать производительность ETL-процессов и аналитического хранилища
- интегрировать BI-систему Superset с хранилищем данных (включая кастомизацию)
- документировать процессы и метаданные в соответствии с корпоративными стандартами
- PostgreSQL (опыт проектирования схем данных, работы с представлениями (views), оптимизации запросов, использования расширенных возможностей — оконные функции, CTE, индексы).
- Apache Airflow (опыт создания DAG, оркестрации ETL‑процессов, мониторинга выполнения задач, работы с XCom и Variables)
- Kafka (понимание принципов работы шины данных, опыт работы с Kafka Connect, понимание концепций топиков, партиций, offset)
- SQL (продвинутый уровень: сложные запросы, оконные функции, оптимизация, работа с CTE, понимание планов выполнения запросов)
- Основы работы с NoSQL‑СУБД (понимание различий моделей данных, опыт извлечения данных из MongoDB, Cassandra или аналогичных систем)
- Python (уровень продвинутый)
- OpenMetadata (опыт настройки и кастомизации системы каталогизации, работа с API для автоматической регистрации метаданных)
- Docker, Kubernetes (опыт контейнеризации ETL‑приложений, развёртывания Airflow/NiFi в кластере)
- рыночную зарплату и премии
- драйвовые задачи и ресурсы для их реализации
- преимущества аккредитованной IT-компании
- открытая атмосфера, где ценят обратную связь, инициативность, креатив
- материальную помощь в случае важных событий в жизни
- корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке
- корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие
- комьюнити по интересам
- скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.
Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!
🔹 Senior Data Engineer
Проектная деятельность / частичная занятость.
🔹 Технический специалист (Affiliate marketing)
в Myfin — компания, предоставляющая финансовые и банковские услуги (Минск, Беларусь).
Удалённая работа.
Ищет Светлана Зубарева, подробности в её постах на LinkedIn.
ИЩЕМ ТИММЕЙТА В КОМАНДУ УПРАВЛЕНИЯ ДАННЫМИ
Ты будешь отвечать за проектирование и развитие отказоустойчивых пайплайнов потоковой обработки данных, влияя на скорость и качество решений внутренних команд.
С тебя — самостоятельность, инженерная глубина и готовность улучшать существующую платформу, с нас — сложные real-time-задачи, технологичная среда и свобода превращать экспертизу в решения, которыми пользуются аналитики, ML-специалисты и продуктовые команды.
В чем твой вызов?
— Проектировать, разрабатывать и поддерживать высоконагруженные пайплайны для обработки потоковых данных в режиме real time
— Развивать процессы для обработки данных и передачи результатов в целевые системы и внешние API
— Настраивать интеграции в связке Kafka, Flink и ClickHouse, обеспечивая стабильное движение данных между источниками и потребителями
— Очищать, фильтровать, трансформировать и обогащать сырые потоки данных для создания качественных витрин и датасетов.
— Проектировать быстрые витрины с минутными и другими оперативными срезами для аналитических и ML-сценариев
— Оптимизировать существующие потоковые и пакетные процессы, повышая их производительность, надежность и масштабируемость
— Разрабатывать переиспользуемые модули, шаблоны и кастомные расширения, которые помогут быстрее запускать новые процессы обработки данных
— Внедрять механизмы мониторинга, логирования и проверки целостности данных на всех этапах их движения
— Анализировать сбои и узкие места, находить причины проблем и повышать отказоустойчивость real-time-инфраструктуры
— Участвовать в code review и поддерживать единые инженерные стандарты внутри команды.
Три совпадения — и нам точно по пути:
— Ты можешь самостоятельно спроектировать, реализовать и вывести в эксплуатацию решение без постоянного контроля
— Тебе интересны сложные задачи на стыке потоковой обработки, высоких нагрузок и аналитических систем, где результат твоей работы напрямую влияет на скорость принятия решений
— Ты не ограничиваешься поддержкой уже работающих процессов: ищешь возможности для оптимизации, предлагаешь переиспользуемые решения и внимательно относишься к качеству данных и кода.
Какие скилы нам важны:
— Есть коммерческий опыт построения и оптимизации высоконагруженных систем потоковой обработки данных
— Уверенно работаешь с Apache Kafka и понимаешь принципы построения решений на базе брокеров сообщений
— Имеешь практический опыт работы с Apache Flink на уровне самостоятельной разработки и оптимизации production-процессов
— Хорошо знаешь ClickHouse и понимаешь, какие движки и архитектурные подходы использовать для обработки real-time-данных
— Уверенно владеешь Python и умеешь писать поддерживаемый production-код
— Работал с Airflow и понимаешь принципы оркестрации процессов. Глубокая экспертиза необязательна, но важно уверенно ориентироваться в инструменте
— Умеешь интегрировать стриминговые решения, брокеры сообщений, API и хранилища данных в единый технологический контур
— Проектировал решения с учетом масштабирования, производительности, стабильности и отказоустойчивости
— Умеешь настраивать мониторинг, логирование, алертинг и проверки качества данных
— Разрабатывал переиспользуемые модули, внутренние библиотеки или шаблоны для ускорения запуска новых пайплайнов
— Участвовал в code review и умеешь аргументированно предлагать улучшения в архитектуре и коде.
Что дальше, если случился мэтч?
→ Рекрутер
→ Техническое интервью
→ Бизнес кейсы (интервью в офисе)
→ СБ и офер
Вакансия предполагает работу в офисе, для каждого города — своя карточка вакансии. Щёлкни по городу, чтобы перейти на карточку нужного города.
Эн+ Диджитал - молодая, активно развивающаяся ИТ-компания. Входим в реестр организаций, аккредитованных Министерством цифрового развития РФ.
Компания активно следит за развитием информационных технологий и способствует цифровой трансформации бизнеса клиентов. Работаем над проектами Эн+.
Сейчас мы находимся в поиске Data Engineer, который будет работать в команде проекта развития корпоративного хранилища данных для крупного промышленно-энергетического холдинга на роли руководителя группы дата-инженерии.
Обязанности:
- Стек проекта: Greenplum, Airflow, 1C:Предприятие, OpenMetaData, GitLab, Zabbix;
- Участие в формировании и развитии архитектуры хранения и обработки данных в корпоративном хранилище на платформе Greenplum, ClickHouse;
- Руководство командой дата инженеров (4 человека): распределение задач, контроль сроков, менторство и развитие, проведение код-ревью; создание эффективных процессов достижения результатов командой, ответственность за планирование и сроки;
- Выстраивание эффективных коммуникаций со смежными командами;
- Проектирование, разработка и аудит потоков данных ETL, в том числе разработка и аудит скриптов SQL и Python, Airflow DAG’s;
- Автоматизация процессов построения структуры КХД и разработки потоков данных ETL (Развитие ETL Framework на Python).
- Высшее IT, инженерное или математическое образование;
- Опыт работы от 3-х лет в сфере Data Architecture/DWH/ETL в роли архитектора, Team Lead Data Engineer, Senior Data Engineer;
- Высокий уровень владения SQL для нужд аналитики и инжиниринга данных, включая оптимизацию сложных запросов;
- Хорошее знакомство с теорией корпоративных хранилищ данных и основными моделями данных КХД - Inmon/Kimball/DV2/Star/Snowflake;
- Практические навыки организации загрузки данных из источников в КХД, понимание различий ETL/ELT;
- Уверенные навыки разработки на Python под Airflow, использования Git, написания документации.
Будет преимуществом:
- Опыт использования 1С как источника данных, а также пользовательский опыт работы с 1С:Предприятием как платформой обработки данных;
- Навыки настройки и использования инструментов DataQuality/Data Governance;
- Опыт организации мониторинга СУБД и Airflow, настройки процессов CI/CD;
- Опыт поддержки конечных пользователей.
- Официальное трудоустройство согласно ТК РФ;
- Удаленный формат работы, график 5/2;
- ДМС, льготная ипотечная программа, компенсация питания, квартальный бонус;
- Доход готовы обсудить на этапе интервью;
- Возможность как вертикального, так и горизонтального карьерного роста;
- Развитие в компании: корпоративный университет, возможность обучения за счет компании;
- Участие в новых и интересных проектах;
- Работа в команде с лучшими профессионалами над сложными и интересными задачами.
Rubius — аккредитованная IT-компания, которая разрабатывает программные продукты для клиентов из разных отраслей: промышленность, нефтегаз, ритейл, медицина и другие.
Мы работаем с российскими и международными дружественными компаниями, создаём сложные технологические решения и сопровождаем проекты на всех этапах — от пресейла до внедрения. У нас есть команды и партнёры в Томске, Москве, Санкт-Петербурге, Астане, Дубае и Эр-Рияде.
Мы ищем Data Engineer, который умеет собирать витрины, джойнить данные и проверять полученный результат. Вам предстоит работать с большими данными совместно с аналитиками и командой ML.
О проекте:
Проект представляет собой оптимизацию работы производства и поставки готовой продукции. В область нашей ответственности входит разработка инструментов, позволяющих бизнесу планировать объемы производства, решать логистические и маркетинговые задачи, а также предоставлять оперативные данные для принятия решений.
Чем предстоит заниматься
- проектировать и собирать витрины данных по разработанному ТЗ
- проектировать, разрабатывать и поддерживать ETL-процессы для загрузки данных из/в Data Lake
- писать документацию - комментировать код
- работать с data-аналитиками для создания новых и оптимизации существующих витри
Что для нас важно:
- опыт на позиции Data Engineer от 3-х лет
- понимание основных операций СУБД и принципов DWH
- опыт работы с Hadoop технологиями (Spark, Hive и тд)
- опыт работы с Azure/Yandex облачными платформами
- опыт разработки и поддержки ETL-пайплайнов (Airflow/Azure Data Factory)
- хорошее знание SQL, Python
- уверенный опыт работы с базами данных PostgreSQL и ClickHouse
- опыт работы с инструментами обеспечения качества данных (Great Expectations)
Что предлагаем
Условия и комфорт
- Официальное трудоустройство
- Белая и своевременная заработная плата
- Премии по результатам работы по проектам
- Гибкое начало рабочего дня
- Поддержка home office для удалённых сотрудников
- Комфортное рабочее место в офисе: эргономичное кресло, два монитора, возможность выбрать клавиатуру и мышь после испытательного срока
- Бонусы аккредитованной IT-компании
Развитие
- Индивидуальный трек профессионального развития
- Компенсация профессиональной сертификации по международным стандартам
- Внутренние митапы, обмен опытом, база знаний и практические гайды
- Скидки для сотрудников и их близких на программы Rubius Academy
Забота о сотрудниках
- Оплачиваемые занятия спортом, в том числе и в домашних условиях (всё на доверии)
- ДМС со стоматологией после испытательного срока для офисных сотрудников
- Телемедицина для удалённых сотрудников
- Поддержка в важных жизненных событиях: бонусы к свадьбе и рождению детей
Среда и культура
- Сильная инженерная команда и проекты с реальным бизнес-эффектом
- Комфортная корпоративная культура без овербюрократии, но порядок мы любим:)
- Открытость к идеям, инициативе и профессиональному мнению каждого
- Корпоративные мероприятия, сообщества по интересам, спортивные и творческие активности
Как проходит отбор
- Изучаем резюме командой и аккуратно фиксируем все этапы в CRM
- На интервью приглашаем кандидатов, чей опыт и навыки максимально подходят под задачи роли
- Обычно процесс включает 1-2 интервью: это может быть встреча с HR и/или техническим специалистом
-
Оффер или письмо от нашей команды о том, что будем рады оставаться на связи. Отказ в этой вакансии не означает, что вы не сможете отклинуться на другие наши вакансии. Будем рады контакту:)
Будем рады познакомиться с теми, кто любит своё дело и хочет расти вместе с нами.
Задачи
- Разработка DWH и витрин данных.
- Оптимизация ETL-пайплайнов.
- Коммуникация с бизнес-аналитиками и формализация задач.
- Участие в улучшении архитектуры аналитического хранилища и в моделировании данных.
- Описание предметной области бизнеса и дизайн логической модели.
- Настройка транспортов данных из внешних источников.
Требования
- Уверенное знание SQL и опыт оптимизации запросов.
- Опыт работы с MPP СУБД (Vertica/ClickHouse/Greenplum) от 1 года.
- Стек Big Data: Hadoop, написание запросов на Hive, понимание элементов экосистемы, принципы оптимизации, уверенное знание PySpark.
- Опыт с dbt, Spark, Trino, Git, Airflow.
- Знания в области архитектуры хранилищ данных (нормальные формы, схема Звезда, Data Vault).
Условия и бенефиты
- Интересные проекты: создаём продукты для путешественников, тревел-агентов и отельеров по всему миру.
- Полная свобода для достижения результатов: гибкий график, удалёнка или офис — ты сам решаешь, где и когда работать.
- Нестандартный подход к работе и жажда нового, например, мы решаем некоторые задачи с помощью AI.
- Техническое комьюнити Ostrovok! Tech проводит митапы, хакатоны, участвует в конференциях и поддерживает даже самые смелые идеи.
- Профессиональное развитие: помогаем сотрудникам выступать на конференциях — от подачи заявки до подготовки презентации.
- Забота о самочувствии команды: с первого месяца работы у наших сотрудников есть ДМС и скидки в сервисе «Ясно».
- Внутренние программы адаптации и обучения, развития soft skills и лидерских навыков, подобранные индивидуально для каждого сотрудника.
- Корпоративные скидки на занятия в Skyeng.
- Корпоративные цены на отели и другие тревел-услуги — чтобы наши сотрудники путешествовали чаще.
- Островок — аккредитованная IT-компания.
Кого ищем:
Опытного эксперта в DataOps с реальными кейсами CI/CD и оптимизации пайплайнов обработки больших данных на Big Data стеке. Ты будешь решать сложные задачи, проводить R&D, внедрять и администрировать новые инструменты Big Data.
Спектр задач:
- CI/CD автотестирование и развертывание ETL/ELT (Apache Spark jobs + Airflow Dags) в продуктивных средах.
- Управление и оптимизация производительности ETL/ELT приложений.
- Управление и расследование инцидентов работы ETL/ELT приложений.
- Настройка и управление мониторинга и логирования ETL/ELT приложений.
- Администрирование и настройка кластера Airflow.
- RnD новых инструментов и технологий Big data технологий.
Что ожидаем:
- Профильное высшее образование: информационные технологии, прикладная математика\информатика.
- Практический коммерческий опыт работы с полным жизненным циклом разработки Data на продуктов Big data стеке - не менее 3 лет.
- Опыт в языках программирования, Python, SQL не менее 2 лет.
- Отличные навыки администрирование и настройки: Linux, Airflow, Kafka.
Что готовы предложить:
- Система мотивации: фиксированный ежемесячный оклад + годовой бонус (10% от годового дохода, завязан на KPI/SLA).
- Оформление по ТК РФ.
- Удаленный формат работы в пределах России. Офис расположен в г. Москва.
- ДМС со стоматологией (с 1 рабочего дня + полис путешественника).
- Частичная компенсация фитнеса / обучения / доп. мед. услуг.
- Дополнительные дни к ежегодному отпуску (всего 31 день в году).
- Современное оборудование (техника Windows, Lenovo ThinkPad).
90 минут – техническое интервью (Я.Телемост, видео встреча). Обсуждение вашего опыта, подходов к решению задач, глубокое погружение в экспертизу.
60 минут – финальное интервью.
Проверка документов 1-2 дня (анкета в электронном виде).
Оффер, обсуждение даты выхода на работу.
Мы стараемся как можно быстрее принимать решения!
Руководитель направления
Управление по работе с данными
в дочернее общество ООО «ЗН НТЦ»
(разработчик корпоративного хранилища данных)
Целью Управления по работе с данными является обеспечение Компании качественными данными для поддержки принятия управленческих решений, направленных для получения дополнительной прибыли и сокращение издержек.
Достижение настоящей цели производится за счет выполнения следующих задач управления данными:
- реализация инициатив по внедрению инструментов управления данными;
- интеграция данных из различных систем-источников в едином информационном пространстве;
- обеспечение качества и доступности данных в соответствии с бизнес-потребностями;
- обеспечение эффективности процессов работы с данными;
- формирование в ГК АО «Зарубежнефть» дата-ориентированного подхода к управлению процессами.
Обязанности
- Разработка нового и доработки существующего функционала в КХД (Arenadata DB/ Greenplum) по методологии Data Vault;
- Проектирование и построение прототипов, витрин;
- Проектирование и разработка потоков данных на ETL/ELT инструментах (NiFi, Kafka);
- Оптимизация и рефакторинг существующих решений в контуре DWH;
- Обслуживание и технический контроль отказоустойчивости/работоспособности КХД;
- Контроль разработки на предмет соответствия архитектурным требованиям;
- Разработка и внедрение стандартов для объектов КХД;
- Подготовка технической документации;
- Взаимодействие со смежными командами.
Требования
Образование и опыт:
- Высшее техническое образование;
- Опыт работы с DWH от 3+ лет;
- Опыт работы в крупных интеграторах.
Технические навыки (Hard Skills):
- Понимание архитектуры MPP систем;
- Опыт работы с Greenplum/Arenadata DB и отличное знание PostgreSQL;
- Знание принципов построения DWH;
- Опыт работы с методологией Data Vault;
- Опыт работы с колоночными СУБД (ClickHouse);
- Знание SQL (DDL, DML), опыт оптимизации запросов;
- Опыт работы на ETL/ELT инструментах: NiFi, Kafka;
- Навык работы с Git;
- Опыт работы по интеграционному взаимодействию между различными ИС;
- Опыт использования систем ведения проектов и документации, сопровождения и мониторинга информационных систем, находящихся в зоне ответственности;
Рассматривается как плюс:
- Наличие сертификатов;
- Знание и практический опыт применения гибких методологий разработки (Agile, Scrum, Kanban);
- Опыт работы на позиции Team Lead;
- Опыт непосредственного общения с заказчиками, сбора и анализа требований;
Личные и деловые качества (Soft Skills):
- Системное и аналитическое мышление, способность работать со сложными и неоднозначными задачами;
- Отличные коммуникативные навыки: умение ясно и структурно излагать мысли техническим специалистам;
- Ответственность, нацеленность на результат и высокое качество;
- Клиентоориентированность, умение слышать потребности заказчика и предлагать эффективные решения;
- Стрессоустойчивость.
Условия:
- Разнообразные и нестандартные задачи;
- Бессрочный трудовой договор с испытательным сроком (3 мес.);
- Конкурентная заработная плата;
- ДМС после испытательного срока;
- Возможности для профессионального и карьерного роста: обучение за счет компании, участие в конференциях;
- Трудоустройство в полном соответствии с ТК РФ;
- График работы 5/2 (офлайн) в офисе г. Москва м.Дмитровская;
- Профессиональный, дружный коллектив.
Мы разрабатываем продукт Выписки и справки, позволяющий нашим клиентам быстро и легко получать различные документы и выписки по банковским продуктам, например, по дебетовым и кредитным картам, кредитам и вкладным счетам. Также мы работаем с информаций о продуктах дочерних организаций и создаем пакеты документов для помощи людям в различных жизненных ситуациях. Наши клиенты могут обращаться за документами в разные каналы и получать результат как в электронном виде, так и в виде бумажной копии в отделении Сбера. Наш продукт входит в TOP-5 самых популярных продуктов Банка в СБОЛ.
Наша команда занимается разработкой DWH для продукта, отвечает за своевременную поставку данных из корпоративного хранилища и качество этих данных. Мы обрабатываем десятки петабайт данных, агрегируем, трансформируем и складываем их в наше хранилище чтобы наши клиенты могли получить актуальную информацию
Обязанности
● Анализ требований
● Исследование источников данных
● Формирование требований на разработку
● Общение с заказчиками и поставщиками данных
● Валидация полученных результатов
● Разбор инцидентов
● Составление и согласование требований
Требования
● Опыт enterprise разработки не менее 1 года;
● Уверенные знания SQL;
● Опыт работы и знание экосистемы Hadoop (HDFS, YARN, MapReduce, Hive);
● Опыт работы с Apache Spark на Scala/Java/Python;
● Опыт работы с Jenkins (или GitLab CI/CD);
● Опыт работы с Git;
● Опыт работы с Jira.
Будет большим преимуществом:
● Опыт работы и уверенные знания Scala/Java/Python;
● Опыт разработки авто- и интеграционных тестов для своего кода;
● Знание основ работы с очередями сообщений (JMS, MQ, Kafka) и REST API;
● Опыт работы с NoSQL БД (HBase, Clickhouse, MongoDB);
Условия
- комфортный современный офис рядом с м. Кутузовская
- офисный формат работы
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера.
Senior Data Engineer / Старший инженер данных в команду Data Platform
За последний год мы превратили «данные как побочный продукт» в «данные как продукт»: выстроили lakehouse и научились быстро превращать сырые события в ценность для бизнеса. Cейчас масштаб задач растёт, и нам нужны сильные инженеры, которые любят сложные системы, прозрачные процессы и ощутимый импакт.
Чем предстоит заниматься
- Участвовать в построении Lake House с единой точкой входа для ad-hoc запросов
- Улучшать CDC-процессы
- Ускорять вывод пользовательских витрин и аналитических продуктов в production
- Обеспечивать высокое качество данных
- Создавать и развивать data-продукты, напрямую влияющие на бизнес-метрики компании
- Улучшать Spark Streaming процессы
- Оптимизировать self-service дата платформу
Стек
PySpark, Airflow, ClickHouse, Trino, PostgreSQL, Kafka Connect, Debezium, Kubernetes, Iceberg, DeltaLake, dbt
Что для нас важно
-
Опыт работы Data Engineer от 5 лет.
-
Опыт проектирования и поддержки production data platform решений
- Уверенные навыки работы с нашим стеком: Spark / DeltaLake / Presto / Trino; Clickhouse; Parquet / Iceberg; OpenMetaData / Dbt
- Опыт работы с Airflow или другими планировщиками и оркестраторами;
- Опыт разработки на Python
- Опыт работы с Kafka / KafkaConnect / Apache Pulsar или другими распределенными платформами обработки потоков событий
- Опыт работы с инструментами управления метаданными (OpenMetadata будет плюсом)
Почему это интересно
-
Современный стек – PySpark, Airflow, Clickhouse, Trino, PostgreSQL, Kafka Connect, Debezium, Kubernetes
-
Даем широкую зону ответственности и возможность влиять на архитектурные и продуктовые решения. А ещё рады обсуждать твои инициативы и реализовывать их
-
Уникальная культура – мы сохранили дух стартапа, при этом уже отстроили зрелые процессы
-
Формируем измеримые цели всей командой и не просто выполняем их "для галочки", а замеряем эффективность и общее влияние нашей работы на бизнес
-
Работа в командах сильных специалистов, где ценится глубина экспертизы и инженерное мышление
-
Команды слушают и слышат друг друга, выступая в роли партнеров, а не исполнителей
Что мы предлагаем:
-
Удаленка из любой точки мира или уютный офис в Ташкенте
-
У нас можно расти в инженерном или управленческом треке, а еще выстроена регулярная оценка перформанса
-
Платим на уровне топовых компаний российского рынка
-
Обучение и развитие — мы поддерживаем как внутри компании, так и за ее пределами (митапы, конференции, профессиональное обучение, публикации). А еще помогаем развивать личный бренд
-
База — комьюнити профессионалов с желанием делать круто. Приятный бонус — ДМС в привязке к вашей локации, обучение и другие плюшки
Ключевые задачи:
- Разработка хранилища данных и вспомогательных сервисов
- Наполнение детального слоя и слоя витрин данных
- Анализ работы хранилища с целью выявления узких мест и оптимизации
- Предложения по развитию инфраструктуры хранилища данных
- Оказание экспертной поддержки команде аналитиков
- Проведение Code review
Что важно для нас:
- Участие в проектах по созданию хранилищ данных/ЕХД/КХД/КИХ/data lake
- Понимание принципов построения корпоративных хранилищ данных
- Опыт работы по направлению разработчик PostgreSQL/Greenplum/Clickhouse/MS SQL
- Знания и опыт разработки на VBA Отличные знание SQL (план запроса, функции, процедуры, индексы, партиции, методы сжатия данных, оптимизация запросов)
- Умение быстрого погружения в разработанный код
- Понимание особенностей работы MPP систем
- Знание системы контроля версий Git
Что важно для нас:
- Официальное оформление в соответствии с ТК РФ
- График работы: 5/2 (пн-чт с 09:00 до 18:00, пт до 16:45)
- Конкурентный уровень дохода
- Доплата к отпуску и больничному листу
- «Кафетерий льгот»: ДМС для работника и членов семьи, возмещение затрат на отдых, спортивные услуги, покупки на маркетплейсе «ПСБ Маркет»
- Дополнительные льготы при заключении брака и рождении детей
- Материальная поддержка в определенных жизненных ситуациях
- Бесплатная программа поддержки работников: юридические, финансовые и психологические консультации, помощь в бытовых вопросах, автопомощь, корпоративные скидки, профориентация детей работников
- Возможность профессионального развития и прохождения внутреннего и внешнего профессионального обучения
- Корпоративная паритетная пенсионная программа
Мы разрабатываем продукт Выписки и справки, позволяющий нашим клиентам быстро и легко получать различные документы и выписки по банковским продуктам, например, по дебетовым и кредитным картам, кредитам и вкладным счетам. Также мы работаем с информаций о продуктах дочерних организаций и создаем пакеты документов для помощи людям в различных жизненных ситуациях. Наши клиенты могут обращаться за документами в разные каналы и получать результат как в электронном виде, так и в виде бумажной копии в отделении Сбера. Наш продукт входит в TOP-5 самых популярных продуктов Банка в СБОЛ.
Наша команда занимается разработкой DWH для продукта, отвечает за своевременную поставку данных из корпоративного хранилища и качество этих данных. Мы обрабатываем десятки петабайт данных, агрегируем, трансформируем и складываем их в наше хранилище чтобы наши клиенты могли получить актуальную информацию
● Анализ требований
● Исследование источников данных
● Формирование требований на разработку
● Общение с заказчиками и поставщиками данных
● Валидация полученных результатов
● Разбор инцидентов
● Составление и согласование требований
● Опыт enterprise разработки не менее 1 года;
● Уверенные знания SQL;
● Опыт работы и знание экосистемы Hadoop (HDFS, YARN, MapReduce, Hive);
● Опыт работы с Apache Spark на Scala/Java/Python;
● Опыт работы с Jenkins (или GitLab CI/CD);
● Опыт работы с Git;
● Опыт работы с Jira.
Будет большим преимуществом:
● Опыт работы и уверенные знания Scala/Java/Python;
● Опыт разработки авто- и интеграционных тестов для своего кода;
● Знание основ работы с очередями сообщений (JMS, MQ, Kafka) и REST API;
● Опыт работы с NoSQL БД (HBase, Clickhouse, MongoDB);
- комфортный современный офис рядом с м. Кутузовская
- офисный формат работы
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера.
Требования к кандидатам:
-
высокий уровень знаний SQL;
-
хорошее понимание баз данных SQL и NoSQL;
-
базовое знание языка Python;
- законченное высшее или среднее специальное профильное образование.
Что мы предлагаем?
- платим стипендию;
- официально устраиваем на работу;
- первая заработная плата от 85 000 ₽ до вычета НДФЛ;
- даем доступ к корпоративной программе обучения;
- после выхода на проект регулярно пересматриваем и повышаем зарплату;
- обеспечиваем классические IT-плюшки: офис в центре города, корпоративные ивенты, частичная компенсация стоимости спортивных абонементов.
Условия стажировки:
- обучение 4 месяца 5 дней в неделю с 9:00 до 18:00 с перерывом на обед;
- изучение теории с еженедельными проверками изученного материала;
- практика на учебных проектах под руководством опытного технического руководителя;
- подготовка к собеседованию и самопрезентации;
- для кандидатов, где есть наш офис - обязательно посещение офиса;
-
кандидаты из городов, где нет нашего офиса, могут пройти обучение удаленно;
-
после старта на коммерческом проекте формат работы: гибридный в офисе ASTON до момента перехода на уровень М2 (3 дня/2 дня удаленно) / полное посещение офиса заказчика;
-
после старта на коммерческом проекте желательна готовность к командировке в Санкт-Петербург или Москву.
Что делать, если знаний недостаточно?
Приходите к нам на бесплатное онлайн-обучение "Дата инженер".
Для этого напишите в сопроводительном письме "Обучение".
Требования к кандидатам:
- законченное высшее или среднее специальное профильное образование;
- готовность пройти стажировку в компании ASTON.
После успешного окончания онлайн-интенсива обучающийся автоматически зачисляется на стажировку в Лабораторию ASTON.
Из чего состоит программа обучения?
-
онлайн-интенсив 4 недели (1 месяц);
-
вы изучаете теорию и отрабатываете ее с помощью практических заданий;
-
обучение на онлайн-интенсиве можно совмещать с работой.
Приходи в ASTON и расти вместе с нами!
• Построение платформы для мониторинга сайтов поднадзорных, а также написание скриптов для этой платформы• Написание и доработка скриптов для решения типовых надзорных задач
• Подготовка данных для BI-аналитики
• Взаимодействие с другими структурными подразделениями по вопросам, связанным с техническим сопровождением проектов
• Повышение качества данных во внутренних системах
• Ad hoc задачи
Требования:
Аналогичный опыт работы. Необходимые теоретические знания SQL. Знание основ алгоритмов и структур данных, а также основ объектно-ориентированного программирования. Необходимые практические навыки:. Опыт разработки кода на языке Python (анализ данных, работа с базами данных, web-scraping) Построение SQL-запросов;
Уверенное знание стандартного офисного пакета MS Office. Опыт работы с СУБД для составления запросов на SQL.
желательно, будет плюсом: знание экосистемы Hadoop;
Уверенный уровень владения инструментами разработки: PyCharm IDE, Jupyter Notebook, git, Docker,
Уверенное знание стандартного офисного пакета MS Office.
Плюсом будет опыт работы в ПО Jira.
Обсуждаются с успешным кандидатом
Оклад плюс ежемесячная и годовая премия., премия к отпуску
ДМС
Data Engineer
#удаленка
Компания: Облако.ру
🔹Обязанности
-Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности;
-Нормализация и обогащение событий безопасности;
-Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги);
-Подготовка витрин данных под быстрые запросы и аналитику;
-Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование;
-Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill);
-Участие в разборе инцидентов и оптимизации производительности data платформы.
🔹Требования
-Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в production среде;
-Уверенный SQL, включая оптимизацию запросов и анализ производительности;
-Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги);
-Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок);
-Опыт проектирования и оптимизации витрин и схем хранения данных;
-Уверенные знания Kubernetes и опыт эксплуатации сервисов в production среде;
-Понимание принципов надежности, масштабирования и наблюдаемости data систем.
Откликнуться
Мы команда, которая управляет риском в портфеле потребительских кредитов и кредитных карт, и сейчас мы ищем data-инженера, который поможет искать, обрабатывать, актуализировать и улучшать необходимые источники информации. Все участники команды постоянно нуждаются в данных для проверки и реализации свои идей по улучшению процесса кредитования. Если у тебя хорошие инженерные навыки и ты готов к интересной работе среди мотивированных профессионалов различных компетенций – мы ждем тебя.
-
анализ исходных данных в различных системах и форматах для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных)
-
загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, плоские файлы) в рабочую область (платформы GreenPlum, Hadoop)
-
проектирование и разработка аналитических витрин данных
-
мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин
-
контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных
-
разработка, поддержка и оптимизация инфраструктуры и внутренних сервисов для обработки больших объемов данных
-
частие в инновационных проектах Банка по развитию инструментов управления рисками на базе искусственного интеллекта и больших данных
-
разработка и поддержка сопроводительной документации и спецификаций данных, развитие и поддержка базы знаний по вопросам работы с данными
-
предоставление экспертной поддержки внутренним потребителям (data analysts, data scientists) по вопросам, связанным с использованием данных
-
опыт работы от 1 года в качестве Data Engineer / Data Analyst / ETL Developer
-
знание SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности)
-
знание основных понятий и концепций из области Data Warehouse.
-
опыт проектирования и разработки витрин данных
является преимуществом:
-
опыт работы с большими объемами данных с использованием систем Oracle, Teradata, MS SQL, GreenPlum, Hadoop
-
опыт работы со стеком технологий Big Data (Hadoop, Spark, Hive/Impala)
-
знание розничного банковского бизнеса
-
навыки работы с генеративными AI-моделями, опыт создания AI-агентов и использования их в работе будет преимуществом
-
опыт работы по Agile (SCRUM, Kanban, и т.д.) приветствуется
-
навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
-
опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
-
инструментальное владение AI для анализа, генерации и автоматизации.
-
офисный формат работы (рядом с м. Кутузовская)
-
оклад + годовая премия
-
корпоративный спортзал и зоны отдыха
-
более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
-
расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
-
ипотека выгоднее до 7 % для каждого сотрудника
-
бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
-
вознаграждение за рекомендацию друзей в команду Сбера.
На долгий интересный проект требуется Data Engineer (Middle+ / Senior)
Локация: Москва
График: гибрид 3 дня в офисе, 2 дома
Срок проекта до конца этого года с возможностью продления.
Контекст проекта
Разработка data lakehouse-решения под NDA для крупного заказчика. Работа с большими объёмами данных, многоуровневой архитектурой и строгими требованиями к качеству и производительности пайплайнов.
Грейд
Middle+ / Senior
Логика оценки: коммерческий опыт от 3 лет, но фокус на самостоятельность, понимание продакшн-цикла и глубину работы со стеком.
- Явный признак Middle+: уверенная работа с Apache Spark на кластере (2–3+ нод) + опыт 4 года.
- Явный признак Senior: самостоятельное проектирование слоёв lakehouse, оптимизация cost/performance, менторство, опыт переноса решений в закрытые контуры.
MUST-HAVE (обязательно)
Категория
Требования
Язык
Python (уверенное владение, понимание ООП, типизации, работы с памятью)
ETL/ELT
Опыт построения пайплайнов в продакшн (от 1–2 лет активной поддержки)
Обработка данных
PySpark / pandas / аналоги; работа с большими объёмами
Форматы
Parquet, columnar storage (понимание partitioning, compression, schema evolution)
Хранилища
S3 или аналоги (MinIO, Yandex Object Storage, etc.)
Архитектура
Data Lake / Lakehouse, multi-layer: raw → processed → curated
Data Quality
Нормализация, дедупликация, формирование golden record / master data
БД & SQL
PostgreSQL, Greenplum, ClickHouse (или аналоги); продвинутый SQL (оконные функции, CTE, оптимизация запросов)
Оркестрация
Apache Airflow (или аналоги: Dagster, Prefect, Temporal)
DevOps
Docker, CI/CD (GitLab CI, GitHub Actions, Jenkins), Git
Облака
Yandex Cloud / AWS / GCP (любая из трёх, понимание IAM, сетей, compute/storage)
XML
lxml, ElementTree или аналоги; опыт парсинга/валидации сложных структур
NICE-TO-HAVE (сильные плюсы)
Apache Spark (глубокая оптимизация: shuffle, partitioning, broadcast joins, динамическое выделение ресурсов)
Trino / Presto (аналитические запросы поверх lakehouse)
Табличные форматы: Apache Iceberg, Delta Lake, Hudi
Опыт работы в закрытых контурах / on-premise / air-gapped средах
Понимание Data Mesh / Data Fabric концепций
Опыт написания unit/integration тестов для пайплайнов (pytest, Great Expectations, dbt tests)
ОСНОВНЫЕ ЗАДАЧИ
Разработка и оптимизация ETL/ELT-пайплайнов под большие объёмы.
Парсинг, валидация и трансформация XML-данных.
Построение слоёв raw → processed → curated (Parquet + S3).
Реализация нормализации, дедупликации и формирования "золотых" записей.
Тюнинг производительности и обеспечение стабильности в продакшене.
Подготовка решений к переносу в закрытый контур заказчика.
Взаимодействие с аналитиками, архитектором, DevOps и командой
За доп информацией писать @SDoroshin
Наша команда занимается созданием аналитической платформы для анализа клиентского поведения в мобильном и веб-приложении. Платформа обеспечивает онлайн обработку данных, построение на лету базовых продуктовых отчетов, крэш-аналитику, а также детальную BI-аналитику выделенных сегментов.
Пользователи – внутренние клиенты Банка (владельцы продуктов, аналитики, UX-исследователи).
Реализован MVP приложения, который позволяет закрыть базовые потребности в аналитике у наших пользователей. Пилот на базе приложения Сбербанк Онлайн продемонстрировал востребованность у клиентов, открыл широкие горизонты развития: аналитика крэшей, источников дистрибуции мобильных приложений, хронометраж процессов, модуль для сотрудников колл-центра.
Мы в поиске Data Engineer для создания и поддержки витрин данных, использующихся для задач машинного обучения.
Нашими основными задачами являются дообогащение собранных данных информацией из бэковых систем, реализация вероятностных методов, позволяющих определить уникального клиента, реализация моделей прогноза поведения клиентов, детектирование аномалий.
Первый этап отбора на эту вакансию — общение с AI- рекрутером. После отклика вам на почту придёт приглашение пройти первичное интервью с ГиаРекрутером. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГиаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!
-
поиск и анализ данных для задач машинного обучения
-
участие в генерации новых фичей из данных
-
создание витрин данных, ETL и сопровождение их вывода в пром
-
контроль качества загружаемых данных
-
сопровождение вывода готовых AI-моделей в пром.
-
отличное знание SQL и понимание принципов СУБД
-
знание python и библиотек работы с данными (numpy, pandas)
-
опыт работы с Hadoop (Hive, Spark, HDFS)
-
опыт работы с Clickhouse (разработка или администрирование)
-
знание Git
-
желательно знакомство с системами продуктовой аналитики – GA, Яндекс метрика, Amplitude.
-
гибридный формат работы, г.Москва Кутузовский проспект 32Е
-
годовой бонус и ежегодный пересмотр
-
расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
-
корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
-
офис на Кутузовской с зонами отдыха и спортзалом
-
90 дней удаленной работы
-
льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.
Привет! Мы – команда Гринмани, современный FinTech проект и один из ведущих сервисов альтернативного кредитования в стране. Работаем с 2015 года, уверенно растем и развиваемся в трех направлениях: онлайн-сервис кредитования, IT компания, collection.
Создаем инновационный финтех-сервис, который делает процесс получения денег онлайн простым и удобным для миллионов клиентов. В нашей компании более 370 увлеченных профессионалов, работающих в 25 городах и 6 странах. У нас есть локальные офисы в Новосибирске и Кемерове, но мы также ценим гибкость удаленной работы.
Активно работаем на российском рынке, предлагая продукты PDL и ILисключительно в онлайн-формате.
Ищем Data Analyst для проектирования витрин данных, разработки отчетности в Tableau и документирования аналитических решений.
Что предстоит делать:
-
Прототипирование и проектирование витрин данных:
-
Анализировать требования бизнес-заказчиков и переводить их на язык данных.
-
Проектировать логическую модель витрин: определять состав полей, агрегации, связи между справочниками и фактами.
-
Разрабатывать SQL-прототипы витрин для проверки гипотез и валидации данных до передачи задачи в разработку.
-
Участвовать в ревью кода инженеров, чтобы финальная витрина соответствовала утвержденному прототипу.
-
-
Поддержка и развитие отчетности в Tableau:
-
Разрабатывать новые интерактивные дашборды в Tableau с нуля, используя LOD-выражения, расчетные поля и экшены.
-
Проводить рефакторинг и оптимизацию существующих отчетов для ускорения загрузки и улучшения UX.
-
Интегрировать Tableau с витринами (подключение к представлениям в DWH).
-
-
Документирование:
-
Вести документацию на каждую витрину и отчет: бизнес-метрики, логику расчета (формулы), источники данных, частоту обновления.
-
Фиксировать изменения при обновлении логики отчетов.
-
Вести и актуализировать Каталог данных.
-
Что мы ждем от кандидата:
-
Уверенного владения SQL: вы пишете сложные запросы с оконными функциями и CTE, умеете манипулировать данными и работать с объектами базы.
-
Опытной работы с СУБД: вы работали с MSSQL, PostgreSQL или аналогичными системами управления базами данных.
-
Понимания моделирования данных: вы знаете принципы 3-НФ и умеете применять их при проектировании витрин.
-
Глубоких навыков в BI-визуализации: вы создаёте сложные дашборды в Tableau Desktop с использованием LOD-выражений, табличных расчетов, экшенов и параметров.
-
Практики публикации и сопровождения отчетов: вы публиковали отчеты на Tableau Server, настраивали экстракты и оптимизировали производительность дашбордов.
-
Опытa управления доступом: вы умеете настраивать разграничение прав и фильтры на уровне данных.
-
Навыков разработки прототипов витрин: вы создавали SQL-прототипы витрин и передавали их в разработку инженерам.
-
Умения документировать: вы составляете паспорта витрин, описываете бизнес-метрики, логику расчётов, источники данных и частоту обновления.
-
Опытa формализации требований к DAG-ам в Airflow: вы описываете источники, стратегии загрузки, требования к качеству данных (проверки на NULL, дубликаты, граничные значения) и SLA.
-
Знания работы с каталогами данных: вы использовали OpenMetadata или аналогичные решения и проводили аудит каталога, удаляя или архивируя неиспользуемые витрины и отчёты.
-
Опыт работы в крупной DWH-среде с большими объемами данных.
-
Понимание DevOps-практик в аналитике (CI/CD для SQL/ETL).
Мы предлагаем:
-
Компания с прозрачной и гибкой структурой управления – у нас нет сложных и бесконечных этапов согласований идей/предложений/решений, бюрократии и тотального контроля, все вопросы решаются оперативно;
-
Гибкий формат работы из любой точки мира;
-
Официальное трудоустройство с первого дня и полностью белая заработная плата;
-
ДМС для тебя и корпоративный тариф для твоей семьи с 4-го месяца работы;
-
Сильная команда, с которой можно расти. Программа личного развития, включающая внешнее и внутреннее обучение, участие в конференциях.
Ozon fresh — одно из самых перспективных и быстроразвивающихся направлений компании, которое является сервисом быстрой доставки свежих продуктов питания, товаров повседневного спроса, бытовой техники, электроники и других категорий.
Мы ищем математика-разработчика в группу товародвижения в отдел Data Science.
Мы поддерживаем и развиваем проект автоматического заказа поставщикам для оптимального пополнения наших складов товарами.
Это позволяет поддерживать большинство наших товаров доступными к покупке при минимизации издержек на хранение и списания.
Наш стек
- PostgreSQL, Clickhouse, Kafka, Memcashed, Redis, Hadoop, Airflow
Вы будете
- Писать алгоритмы обработки больших данных (несколько сотен миллионов строк в таблице).
- Исследовать и подготавливать данные.
- Оптимизировать текущие вычисления.
- Заниматься продуктивизацией алгоритмов и их сопровождением.
- Делать ревью кода и анализ инцидентов.
Нам важно
- Наличие опыта в роли Data engineer от 2 лет.
- Высшее математическое или техническое образование.
- Уверенное владение Python, PySpark, SQL.
- Знание устройства Hadoop, HDFS, Hive.
- Опыт работы с системами контроля версий (Git).
Будет плюсом
- Опыт работы с Go .
- Опыт работы с Airflow.
- Опыт работы с DBT.
Мы предлагаем
- Динамично и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе лучший продукт на рынке e-commerce.
- Свободу действий в принятии решений.
- Достойный уровень заработной платы.
- Профессиональную команду, которой мы гордимся.
- Возможность развиваться вместе с нашим бизнесом.
- Возможность удалённой работы из любого города.
#вакансия #удаленка #фуллтайм
Data Engineer
Требуемый опыт работы: 3–6 лет
Полная занятость, полный день
Привет! Меня зовут Анастасия и я HR компании "MIA Dev".
Сейчас мы расширяем нашу команду и рады принять специалистов на должность "Data Engineer".
Чем предстоит заниматься:
Поддержка и разбор инцидентов в текущих потоках
Развитие и поддержка облачной инфраструктуры
Исследование источников данных, проектирование витрин
Извлечение, преобразование, загрузка данных и обработка ETL/ELT (Python/Airflow)
Создание и развитие процессов управления данными и их качеством
Оптимизация процессов поставки данных
Наши ожидания:
Опыт работы с Python
Уверенные знания SQL и опыт работы с базами данных
Понимание концепций построения хранилищ данных
Хорошие аналитические навыки
Опыт работы с технологиями (framework) Big Data: Apache Airflow, Spark и его компоненты, очереди (MQ): Kafka, RabbitMQ
Готовы предложить:
Оформление: ИП и СЗ
Комфортный доход по итогам собеседования
5-дневную рабочую неделю с гибким началом дня (8:00-11:00 по Мск)
Удобный формат работы: полная удаленка
Современные и интересные задачи на проекте
Зарплатная вилка: 280-330 тыс.
Локация РФ
Data Engineer
Требуемый опыт работы: 3–6 лет
Полная занятость, полный день
Привет! Меня зовут Анастасия и я HR компании "MIA Dev".
Сейчас мы расширяем нашу команду и рады принять специалистов на должность "Data Engineer".
Чем предстоит заниматься:
Поддержка и разбор инцидентов в текущих потоках
Развитие и поддержка облачной инфраструктуры
Исследование источников данных, проектирование витрин
Извлечение, преобразование, загрузка данных и обработка ETL/ELT (Python/Airflow)
Создание и развитие процессов управления данными и их качеством
Оптимизация процессов поставки данных
Наши ожидания:
Опыт работы с Python
Уверенные знания SQL и опыт работы с базами данных
Понимание концепций построения хранилищ данных
Хорошие аналитические навыки
Опыт работы с технологиями (framework) Big Data: Apache Airflow, Spark и его компоненты, очереди (MQ): Kafka, RabbitMQ
Готовы предложить:
Оформление: ИП и СЗ
Комфортный доход по итогам собеседования
5-дневную рабочую неделю с гибким началом дня (8:00-11:00 по Мск)
Удобный формат работы: полная удаленка
Современные и интересные задачи на проекте
Зарплатная вилка: 280-330 тыс.
Локация РФ
Для связи: @patrikeeva_mia_dev
--
[< Подпишитесь на канал «Работа в ИТ» >]
🛠 Senior Data Engineer / Platform Engineer
Проект:
▫️ AI-driven компания (интеллектуальные агенты для CX)
▫️ 2 месяца с высоким шансом продления, старт ASAP
▫️ Full-time, удаленка (не РФ)
Стек и задачи:
▫️ 5+ лет в Data/Platform Engineering
▫️ GCP, продвинутый SQL, MS SQL Server, ClickHouse
▫️ ETL/ELT пайплайны, оркестрация, Fivetran
▫️ Production-grade data systems, observability
Условия:
💰 До 30$/час
🗣 Английский B2-C1
⚡️ Умение работать самостоятельно в быстром темпе
Процесс отбора:
Pre-screen → интервью с PO → "Vibe Coding" сессия
📩 Отклик: резюме + рейт + локация + дата старта d ЛС @little_driver
#dataengineer #platformengineer #gcp #sql #clickhouse #fivetran #etl #remote #itвакансии
Мы развиваем некастодиальный криптокошелёк из мировой ТОП‑10 по загрузкам. Наши команды в Москве и Белграде модернизируют продукт, которым пользуются миллионы
В отделе эксплуатации уже работают SRE, DevOps и DevSecOps-инженеры. Нам нужен специалист по базам данных, который станет ключевым экспертом по data-слою и будет тесно взаимодействовать с командой, но при этом возьмет на себя полную ответственность за PostgreSQL и Patroni
Важно
- Отвечаете за PostgreSQL и Patroni: доступность, безопасность, бэкапы, мониторинг, отказоустойчивость, развитие системы отчётности
- Работаете в связке с SRE и DevOps: ваша зона ответственности — data-плоскость. Инфраструктуру (K8s, сеть, CI/CD) сопровождают коллеги, вы не будете там "один за всех"
- Работа только из офиса в Москве (м. Добрынинская / Серпуховская). Удалённой работы нет
Кто нам нужен?
- Инженер по базам данных (Database Reliability Engineer) с сильным бэкграундом в PostgreSQL и Patroni
- Готовый работать в кросс-функциональной команде: ваши коллеги — SRE и DevOps, вы обсуждаете архитектуру, развертывание и инциденты на равных
- Вы будете ключевым экспертом по данным в компании, но не единственным: у вас есть команда для автоматизации и инфраструктуры
Что предлагаем
- Ежемесячный доход — обсуждается по итогам интервью (ориентир до 450 000 ₽ на руки для опытных кандидатов с релевантным опытом)
- Оплата больничного 14 дней и отпуска 28 дней в размере 100%
- Бесплатная парковка
- Релокационный пакет в Москву, если проживаете в другом городе
- Ежегодный пересмотр оплаты на основе рынка
- Договор на ИП (оплата на р/с)
График
- 5/2, 8 часов, начало с 9 до 11. Полный день в офисе
Стек технологий, который мы используем
- PostgreSQL 15+, Patroni 3.2+, Metabase 0.49+, Airflow 2.8+
- Kubernetes, Docker, GitLab CI
- Prometheus + Grafana, Percona PMM (настройка мониторинга — часть работы)
Обязанности
- PostgreSQL: мониторинг тяжёлых запросов, анализ планов выполнения, эскалация в разработку, обеспечение SLA по производительности и доступности
- Patroni: развёртывание и поддержка кластеров в K8s, обеспечение отказоустойчивости, настройка автоматического failover, управление репликацией
- Резервное копирование: настройка и контроль бэкапов (WAL-G, Barman или аналоги), регулярные тесты восстановления для подтверждения RPO
- Безопасность и доступ: контроль изоляции данных транзакций и подписей, аудит доступа к критическим таблицам, ротация прав, соблюдение политик безопасности
- Наблюдаемость: кастомные метрики, профилирование нагрузки, root‑cause анализ инцидентов, настройка алертов (Prometheus + AlertManager)
- Система отчётности: оптимизация витрин данных и дашбордов в Metabase, помощь в настройке Airflow (без углубления в администрирование самого Airflow — это зона DevOps)
- Взаимодействие с командой: вы не один — вы часть отдела эксплуатации. Помогаете коллегам с инфраструктурными задачами, связанными с БД, участвуете в онкольных ротациях (вместе с командой)
Требования
Обязательные:
- Опыт работы в аналогичной должности от 3 лет
- Уверенное знание PostgreSQL, SQL
- Практическая работа с PostgreSQL в production (обязательно)
- Опыт работы с Patroni или аналогичными решениями (Stolon, CloudNativePG) для PostgreSQL
- Понимание принципов работы PostgreSQL внутри Kubernetes (StatefulSet, PersistentVolumes)
- Опыт обеспечения высокой доступности БД (репликация, failover, RPO/RTO)
- Опыт оптимизации производительности БД (настройка параметров, индексы, мониторинг)
- Опыт написания скриптов для автоматизации обслуживания баз данных (Python/Bash)
- Навыки чтения и написания технической документации на русском и английском языках
Желательные (будет преимуществом):
- Компетенции в смежных областях: DevOps, SRE (понимание цикла разработки и эксплуатации)
- Настройка мониторинга БД (Prometheus + Grafana, Percona PMM)
- TimescaleDB, Citus, шардирование PostgreSQL
- Знание специфики работы ORM (Entity Framework, Dapper) с PostgreSQL: типовые проблемы N+1, блокировок, mapping типов данных
- Практическая работа с MySQL, MariaDB, Clickhouse (как дополнительный опыт)
- Опыт работы с Airflow и Metabase (не как администратор, а как пользователь/оптимизатор)
Если вы работали по данному профилю не на последнем месте работы, но ваш опыт близок — напишите об этом в сопроводительном письме
Ключевые навыки
PostgreSQL · Patroni · Kubernetes · Docker · GitLab CI · Prometheus · Grafana · Percona PMM · Apache Airflow · Metabase
Вакансия предполагает работу в офисе, для каждого города — своя карточка вакансии. Щёлкни по городу, чтобы перейти на карточку нужного города.
Кто сказал, что нужен опыт? Мы ценим твой потенциал!
Мы — российская аккредитованная ИТ-компания, обладатель премии «Работодатель года» по версии Habr. C 2007 года разрабатываем цифровые решения для b2b-клиентов.
Мы работаем с топовыми российскими и иностранными компаниями и знаем, какие специалисты востребованы на рынке. Наша принципиальная позиция - самостоятельная подготовка специалистов в штат, с чем мы прекрасно справляемся, благодаря собственной программе обучения.
Ежегодно мы обучаем 900+ человек, лучшие стажеры после обучения получают первую работу в IT. 75% стажеров с первого раза проходят интервью на проекты.
Поэтому приглашаем вас на обучение Дата инженер с последующим трудоустройством.
Из чего состоит программа обучения?
-
онлайн-интенсив 1 месяц;
-
вы изучаете теорию и отрабатываете ее с помощью практических заданий;
-
обучение на онлайн-интенсиве можно совмещать с работой.
Требования к кандидатам:
- законченное высшее или среднее специальное профильное образование;
- готовность пройти стажировку в компании ASTON.
После успешного окончания онлайн-интенсива обучающийся автоматически зачисляется на стажировку в Лабораторию ASTON.
Условия стажировки:
- обучение 3-4 месяца 5 дней в неделю с 9:00 до 18:00 с перерывом на обед;
- изучение теории с еженедельными проверками изученного материала;
- практика на учебных проектах под руководством опытного технического руководителя;
- подготовка к собеседованию и самопрезентации;
- для кандидатов обязательно посещение офиса;
-
после старта на коммерческом проекте формат работы: гибридный в офисе ASTON до момента перехода на уровень М2 (3 дня/2 дня удаленно) / полное посещение офиса заказчика;
-
после старта на коммерческом проекте желательна готовность к командировке в Санкт-Петербург или Москву.
Что мы предлагаем?
- платим стипендию;
- официально устраиваем на работу;
- первая заработная плата от 85 000 ₽ до вычета НДФЛ;
- даем доступ к корпоративной программе обучения;
- после выхода на проект регулярно пересматриваем и повышаем зарплату;
- обеспечиваем классические IT-плюшки: офис в центре города, корпоративные ивенты, частичная компенсация стоимости спортивных абонементов.
Приходи в ASTON и расти вместе с нами!
Мы развиваем SaaS-платформу для управления компьютерными клубами и мобильное приложение для геймеров. Сегодня SmartShell работает с 1600+ клубами и занимает около 40% рынка компьютерных клубов в России, а также развивает международное направление.
Кого мы ищем:
Data аналитика / Data Engineer уровня Middle+, который построит надежную основу для аналитики: получение данных, очистку, нормализацию, витрины, контроль качества и подключение этих данных к BI.
Для нас важен специалист, который, прежде всего, понимает, как сделать данные корректными, воспроизводимыми и пригодными для анализа и затем умеет интегрировать их в BI-систему.
О роли
Эта роль на стыке аналитики данных, data engineering, продуктовой аналитики и BI.
Фокус роли:
50% — данные SmartShell как SaaS: получение данных из БД, очистка, нормализация, витрины, контроль качества данных, корректность расчетов SaaS-метрик;
30% — продуктовые и операционные данные: получение данных из БД, очистка, нормализация, витрины, контроль качества данных, анализ того как клубы и геймеры используют продукт, какие события, статусы, сценарии и паттерны нужно корректно учитывать в аналитической модели;
20% — BI и прикладная аналитика: подготовка данных для дашбордов, отчетов, ad hoc-аналитики и регулярных управленческих срезов.
Чем предстоит заниматься:
- Получать данные из БД и разных источников, разбираться в структуре данных продукта и бизнес-логике SmartShell.
- Очищать, нормализовать и приводить данные к единой аналитической модели.
- Проектировать и поддерживать витрины данных для ключевых бизнесовых, продуктовых и операционных метрик.
- Работать с кейсами грязных данных: дубликаты, разрывы, изменяемые статусы, возвраты клиентов, временные паузы, повторные подключения, неполные или неконсистентные данные.
- Готовить надежную основу для BI-отчетности и дашбордов для management, product, sales и marketing команд.
- Подключать данные к BI-инструментам и поддерживать корректность отчетности.
- Участвовать в развитии логики метрик, структуры данных и аналитической модели продукта.
- Готовить регулярные аналитические материалы и ad hoc-исследования по запросам бизнеса на основе уже подготовленных и проверенных данных.
Что для нас важно:
- Уверенное владение SQL: сложные выборки, JOIN’ы, агрегации, оконные функции, работа с несколькими источниками данных, подготовка витрин и датасетов для BI.
- Опыт работы с Yandex DataLens, ClickHouse или другими аналитическими хранилищами.
- Самостоятельность, системность, внимательность к деталям и сильное аналитическое мышление.
Что мы предлагаем:
- Работу в продуктовой компании с реальным влиянием на качество данных, аналитику, продукт и бизнес-решения.
- Нетипичную и сильную роль на стыке data analytics, data engineering, SaaS, product analytics и business analytics.
- Большой объем продуктовых, клиентских и операционных данных, которые нужно привести в надежную аналитическую систему.
- Возможность с нуля или почти с нуля выстроить корректную основу для аналитики: витрины, правила расчета метрик, BI-отчетность и контроль качества данных.
- Небольшую сильную команду и высокий уровень самостоятельности.
- Собственный продукт — от разработки до вывода на рынок и масштабирования.
- Оформление по ТК РФ.
- Белую заработную плату.
- ДМС.
- Офис на Большой Конюшенной напротив ДЛТ.
ООО «Русское молоко» — поставщик натуральной молочной продукции, творога, сыра, мороженого и замороженных полуфабрикатов. Имеет собственное высокотехнологичное предприятие полного цикла, которое находится недалеко от Москвы в городе Дмитрове. Основными поставщиками молока являются фермерские хозяйства, расположенные в экологически чистых регионах России. Ежедневно заводом перерабатывается свыше 100 тонн молока. Компания имеет дистрибьютерскую сеть, собственный автопарк. Владеет торговыми марками: «Свитлогорье», «ДМ3».
Ассортимент насчитывает более 200 наименований. Выпускается в двух сегментах: «средний+» и «премиум».
Сегодня продукция предприятия представлена во всех федеральных и крупных региональных сетях. В ближайших планах предприятия запуск новых линий по производству инновационных продуктов. Предприятие активно сотрудничает со странами СНГ и другими зарубежными странами и всегда открыто для новых контактов.
Нас любят, нас выбирают, в этом заключается наш успех, поэтому мы стараемся соответствовать взятым на себя обязательствам: «ЛЮБИМЫМ - ТОЛЬКО ЛУЧШЕЕ».
Описание вакансии
Мы строим корпоративное хранилище данных с нуля — и ищем человека, который станет его главным архитектором и одновременно тем, кто будет держать эту систему в руках.
Это не роль «поддерживать то, что есть». Это роль создать фундамент аналитики компании: спроектировать модель, выстроить потоки данных из 1С, API и внешних источников, подготовить витрины для бизнеса — и обеспечить, чтобы всё это работало стабильно, быстро и прозрачно.
Стек — современный и распределённый: Greenplum, Arenadata, ClickHouse, S3, PostgreSQL, Airflow, dbt. Нагрузка — на несколько серверов. Объёмы — реальные, не учебные.
Обязанности:
-
Архитектура и моделирование
Спроектировать DWH с нуля: выбрать методологию (Kimball / Inmon /Data Vault / гибрид), заложить слои raw → core → marts.
Разработать логические и физические модели под аналитические запросы, а не под OLTP-нагрузку.
Заложить стандарты моделирования и Data Quality, чтобы эффективность системы не снижалась со временем.
-
Интеграции и ETL/ELT
Подключить источники: 1С (обмены через API/ODBC), внешние REST API, файловые выгрузки.
Построить пайплайны в Airflow: DAG'и, обработка ошибок, retry-логика, мониторинг сбоев.
Реализовать трансформации в dbt / SQL — с версионированием и код-ревью.
-
Витрины и аналитика
Построить витрины данных под ключевые бизнес-процессы (продажи, запасы, финансы — типично для FMCG).
Обеспечить, чтобы BI-инструменты (Сбер Навигатор, Superset, Power BI) «летали».
-
Администрирование и производительность
Оптимизация под MPP: партиционирование, распределение (distribution keys), материализованные представления, движки таблиц в ClickHouse.
Мониторинг пайплайнов и БД, реагирование на инциденты, бэкапы.
Контроль качества данных: что загрузилось, где расхождения, кто виноват.
-
Документирование и стандарты
Вести техническую документацию: архитектура, схемы, контракты интеграций.
Внедрить CI/CD для БД и ETL, Git-flow, код-ревью.
- 3+ года в роли DWH-разработчика / Data Engineer / Database Developer
- Уверенный SQL: сложные запросы, оконные функции, оптимизация планов выполнения
- Практический опыт с MPP-системами (Greenplum / Arenadata / ClickHouse) — не на уровне «читал документацию»
- Построение ETL/ELT-пайплайнов: Airflow (или аналоги), понимание идемпотентности, обработки ошибок
- Работа с источниками: 1С, REST API, файловые форматы, реляционные БД
- Понимание архитектуры DWH: Kimball vs Inmon, слои, звёздные схемы, нормализация vs денормализация
- Умение писать документацию и простой поддерживаемый код
Soft Skills:
- Опыт с dbt, Kafka/Debezium (CDC-потоки), S3
- Docker, Kubernetes, CI/CD, GitLab
- Data Quality, Data Governance на практике, а не в теории
- Опыт администрирования аналитических БД (не только разработки)
- Знакомство с Hadoop-экосистемой
- Опыт в FMCG / ритейле — понимание предметной области (продажи, запасы, промо)
- График работы: 5/2 с 09:00 до 18:00.
- Оформление по ТК РФ;
- Скидка на продукцию для сотрудников.
- Место работы: м. Кунцевская или м. Озёрная, ул. Рябиновая д. 26, стр.1 БЦ WEST PLAZA
Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.
Мы гордимся созданным Порталом Москвы, ведь его делают очень крутые люди! У нас амбициозный план по развитию Портала и для усиления нашей команды в направление «МосБилет», которое обеспечивает единую управляемую билетную экосистему для культурной отрасли: от покупки на сайте bilet.mos.ru и использования билета до сервисного сопровождения и отраслевой аналитики, ищем крутого специалиста - Инженер данных
Что нужно делать:
- Разрабатывать, поддреживать и развивать аналитические системы хранения данных
- Разрабатывать и поддерживать ETL-процессы сбора и обработки данных
- Создавать и развивать системы мониторинга за ETL-процессами
- Участвовать в обсуждении и проектировании логической структуры данных данных с другими членами команды
Какие знания и навыки нам важны:
- Опыт работы в качестве инженера данных
- Опыт работы с большими объемами данных и системами обработки данных
- Знание SQL
- Опыт работы с БД (PostgreSQL, ClickHouse)
- Знание Python, опыт написания ETL
Что предлагаем:
- официальное трудоустройство в аккредитованную ИТ-компанию
- график работы гибрид 5/2 (офис в 3 минутах от станции метро Таганская)
- ежегодное премирование по результатам работы
- материальную помощь в случае важных событий в жизни
- корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке
- скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.
-
корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие
Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!
#вакансия #Senior #удаленка
Дата-инженер
Формат : удаленка
Трудоустроство - договор с ИП
Оплата: 1100- 1200 рублей в час
Проект: от 6 месяцев
требования:
Python 3.11+: Airflow 2.7+
Postgres
GreenPlum
Clickhouse
Kafka
Apache NIFI/Apache Spark
Для связи : @grosssoft1600
#vacancy #DataEngineering #Databricks #AWS #DataLake #Poland
Senior Data Engineer | Databricks + AWS Data Lake | Remote Poland
О компании и роли
Международная корпорация трансформирует платформу данных и переходит на cloud-native архитектуру на базе Databricks и AWS.
Стек Databricks · Spark · PySpark · Delta Lake · Unity Catalog · AWS S3/IAM/KMS · SQL Server · PostgreSQL · Terraform · CI/CD
Почему стоит рассмотреть
• Участие в масштабной миграции данных и построении Data Lake на современном стеке
• Влияние на архитектурные решения и data governance компании
• Выстраивание процессов data quality, мониторинга и безопасности данных
• Самостоятельность и прямое взаимодействие со стейкхолдерами
• Достойное вознаграждение, B2B, full-time
Важно
• 4+ лет опыта в Data Engineering
• 2+ лет работы с Databricks (Spark, PySpark, Delta Lake, Unity Catalog, Workflows)
• 2+ лет работы с AWS (S3, IAM, KMS, VPC, PrivateLink, Secrets Manager)
• Опыт крупных проектов миграции данных или платформ
• Advanced SQL (SQL Server, PostgreSQL, database migrations)
• Опыт в Data Governance, Security & Compliance
• CI/CD, Terraform, Data Quality Testing & Monitoring
• Английский B2+/C1
Полное описание и отклик https://itcharm.com/vacancies/de05d1ee-661d-4af1-b99c-7d7b0cc397be
Вопросы в тг @veronika_pi
Data Engineer (Python + Spark)
#гибрид
Москва
Компания: X5 Tech
🔹Обязанности
В команде разработывается ML-система, детекирующая Out-of-stock ситуации и аномалии в продажах, которая в near-real-time выявляет потенциальные проблемы с наличием товара и отправляет предупреждения сотрудникам магазинов для оперативной проверки и выкладки.
🔹 Задача
Мы строим end-to-end пайплайны, которые собирают данные из разных источников (онлайн и оффлайн-продажи, ERP, внешние API), очищают, трансформируют и подготавливают их для моделей машинного обучения (бустинг и нейронные сети). От качества этих пайплайнов зависит точность прогноза и миллионы управленческих решений в закупках и логистике
• Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
• Настраивать хранение и доступность данных в DWH
• Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
• Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
• Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной
☑️Требования
Наш стек
• PySpark{2,3} / Spark SQL
• Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum
• Airflow
• Python3
• Docker, YARN / k8s
• pytest
Мы – центр развития Индийского филиала Сбера разрабатываем автоматизированную банковскую систему (АБС) для индийского филиала с нуля.
Система состоит из набора модулей - ядро, бухучет, отчетность, кредитные и не только продукты, интернет-банк и антифрод система. В создании любого из них вы можете принять непосредственное участие, повлиять на архитектуру, на качество, на процессы, на то, как в конечном итоге они должны выглядеть.
Часть команды в России, часть в Индии, отличная возможность поработать в интернациональном коллективе!
Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика ждите сообщение от него в Сберчате, диалог займёт примерно 10 минут. Задача AI-рекрутера — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры.
AI-рекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным для всех!
Обязанности
- настройка/сопровождение ETL/ELT пайплайнов. (Тракты поставки данных АС->Облако, Облако->АС)
- проектирование, реализация и сопровождение фреймворка для процесса разработки проектов витрин данных
- реализация межсервесных интеграций (BI инструменты и прочие системы - потребители)
- контроль реализации сервисной архитектуры в соответствии с требованиями Банка
- администрирование инфраструктуры в рамках ИТ-услуги(DWH).
Требования
- наличие высшего образования
- опыт работы на проектах хранилища данных в качестве системного аналитика или архитектора от 3-х лет
- знание архитектурных принципов построения корпоративных хранилищ данных.
- опыт работы с инструментами для генерации кода
- опыт создания собственных фреймворков или библиотек для автоматизации процессов в КХД
- опыт развертывания ClickHouse в различных конфигурациях
- опыт загрузки данных из различных источников в ClickHouse
- опыт разработки скриптов автоматизации для платформы (bash/python)
- опыт создания AI-агентов и использования их в работе будет преимуществом
- знание английского языка не ниже В2 (ОБЯЗАТЕЛЬНО!).
Условия
- комфортный офис на Вавилова 19
- формат работы – офис/гибрид
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера.
Ищем Senior Data Engineer в наш новый продукт для физических лиц: облачное хранилище и почтовый сервис, готового реализовать свои идеи в развитии технологий почтовых сервисов.
Сейчас у наших продуктов многомиллионная аудитория, но мы продолжаем развиваться.
Для нас 2026 – год роста аудитории и запуск глобально нового продукта, согласно стратегии развития.
Крупнейшая технологическая Экосистема РФ и его партнеров открывает перед нами огромные возможности:
> 100 000 000 клиентов;
> 1 000 поверхностей с многомиллионной аудиторией;
> 10 000 000 партнеров и каналов продаж.
Мы приглашаем вас стать частью корпоративного стартапа: с одной стороны, у нас ресурсы и возможность создавать продукты нового уровня, с другой — самый надёжный партнер и инвестор российского рынка.
Чем предстоит заниматься?
- Провести аудит существующей инфраструктуры данных;
- Проектировать и развивать масштабируемую платформу хранения и обработки данных для аналитики, ML с учетом роста объемов и нагрузок;
- Разрабатывать и поддерживать надежные ETL/ELT-процессы, обеспечивая качество, доступность, и консистетность данных;
- Взаимодействовать с внутренними потребителями данных (аналитики, DS/ML, backend), выявлять требования и проектировать удобные модели данных;
- Участвовать в миграции данных и развитии инфраструктуры, включая выбор технологий, оценку вычислительных ресурсов и стоимости решений;
- Формировать инженерные стандарты, обеспечивая долгосрочную масштабируемость и поддерживаемость решений;
- Внедрять AI в инженерные процессы.
Что ждём?
- 5+ лет опыта в Data Engineering;
- Опыт работы с высоконагруженными системами и большими объемами данных;
- Понимание архитектур Data Lake, Lakehouse, DWH;
- Практический опыт построения Bronze/ Silver / Gold слоев;
- Глубокое знание SQL;
- Опыт построения Batch и Streaming пайплайнов;
- Способность аргументированно объяснять архитектурные решения.
Стек:
- Apache Spark;
- Kafka;
- Iceberg / Delta Lake / Hudi;
- Airflow / Dagster;
- Trino / ClickHouse;
-
dbt.
Что тебя ждёт?
- Официальное трудоустройство;
- современный офис (на Даниловской мануфактуре), собственный спортзал от «Лиги Героев», а также занятия футболом, настольным теннисом, боксом и групповые тренировки «Здоровая спина»;
- ДМС со стоматологией, офисный врач, доплата за больничный лист, корпоративные скидки;
- электронная библиотека издательства МИФ, в которую входят почти 2 тыс. единиц контента по бизнесу, саморазвитию, здоровому образу жизни и другим актуальным темам;
- насыщенная корпоративная жизнь.
🟡О проекте
Переход с зарубежного решения Power BI на отечественный DataLens.
🟡Задачи на проекте
- Миграция и подготовка данных (основной пул задач): - Изучение внутреннего обучающего курса по работе с ClickHouse и DataLens в оперативном режиме; - Анализ источников данных и инвентаризация существующих отчётов Power BI. - Проектирование и создание витрин данных (Data Marts) в ClickHouse, оптимизированных для запросов из DataLens; - Миграция отчёта Power BI в DataLens «под ключ», включающая согласование с владельцами домена и сохранение ключевых метрик; - Оптимизация отчётов под конкретные бизнес-запросы доменов. - Техническая поддержка и оптимизация: - Решение инцидентов производительности перенесённых отчётов (включая диагностику и устранение причин медленных запросов); - Консультирование и менторство в рамках комьюнити Data Lens (более 150 пользователей), а также обогащение базы знаний по работе с Data Lens; - Проведение воркшопов и написание методических гайдов: «Как мигрировать отчёт», «Лучшие практики SQL для ClickHouse», «Антипаттерны в витринах»; - Контроль качества создаваемых витрин, включающий проверку на соответствие требованиям (по метрикам, объёму данных, типам связей).
🟡Обязательные требования
- Опыт с СУБД ClickHouse - создание и оптимизация витрин данных; - Умение оптимизировать сложные SQL-запросы и диагностировать проблемы производительности (включая анализ системных таблиц и работу с планировщиком запросов); - Опыт работы с инструментами визуализации данных — DataLens или Power BI; - Опыт с инструментами оркестрации (Airflow) и трансформации данных (dbt, Zeppelin). - Понимание методологий моделирования данных и опыт создания витрин; - Умение создавать и вести базы знаний (документировать решения и процессы); - Опыт в миграции больших массивов отчётов из Power BI/Tableau в другие аналитические экосистемы (будет являться преимуществом); - Умение объяснять сложные технические ограничения («почему нельзя так писать запрос») простым и доступным языком для продуктовых аналитиков и представителей бизнеса; - Продуктовое мышление — способность не просто переносить данные, а создавать удобные и быстрые решения для конечного пользователя; - Проактивность — способность самостоятельно выявлять потенциальные проблемы в процессах миграции и предлагать решения до возникновения инцидентов. - Клиентоориентированность — навык прямого взаимодействия с потребителями данных (доменами), умение внимательно слушать их потребности и оперативно решать возникающие.
•Анализ требований/методик заказчика (Финансовый блок)
•Поиск и обработка необходимых данных
•Проектирование решений, разработка прототипов
•Самостоятельное принятие решений в спорных вопросах
•Оптимизация процессов
•Поддержка и тестирование разработанных решений
•Анализ качества данных
•Написание документации (BRD, FSD) и согласование с участниками процесса
Требования:
•Опыт работы с СУБД (предпочтительно MS SQL, Oracle)
•Знание SQL – на уровне написания сложных запросов
•GreenPlum
•Сбор, анализ и формализация бизнес-требований заказчика
•Умение работать с большими объемами данными
•Понимание устройства и основных принципов работы Банков
•Опыт работы с управленческой отчетностью, отчетность по МСФО
•Опыт построения отчетов для бизнеса приветствуется
Условия:
•Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
•Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
•Сложные и интересные задачи, современный стек технологий
•Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
•Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
•Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
•Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
•Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины
Ищем сильного инженера для построения и развития Data Lakehouse платформы. Нам нужен человек, который умеет не просто писать пайплайны, а способен спроектировать и построить DLH с нуля: принимать архитектурные решения, выбирать подходы, настраивать и оптимизировать вычислительный слой.
Вам предстоит:
- Проектировать и развивать Data Lakehouse платформу с нуля
- Строить надежную и масштабируемую архитектуру хранения и обработки данных
- Разрабатывать ETL/ELT пайплайны на базе Spark, DBT и Trino
- Глубоко понимать внутреннее устройство Spark и применять это знание для проектирования эффективных пайплайнов, оптимизации вычислений и решения проблем производительности
- Разрабатывать кастомные плагины и компоненты для Spark: источники и форматы данных, listeners, расширения каталога и оптимизатора
- Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake
- Развивать слой метаданных и каталогизации данных (Polaris как metastore)
- Управлять инфраструктурой и конфигурацией платформы через GitOps (ArgoCD, Helm)
- Оптимизировать производительность, стоимость вычислений и хранения
- Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana
- Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт
- Имеете практический опыт построения Data Lakehouse платформ или крупных Data Platform решений.
- Имеете опыт проектирования DLH с нуля будет большим преимуществом
- Владеете глубоким пониманием архитектуры Spark: execution model, partitioning, memory management, shuffle, оптимизация запросов
- Имеете опыт оптимизации Spark jobs и SQL-запросов
- Владеете хорошим пониманием принципов работы форматов данных и таблиц в Data Lake (Iceberg/Parquet и аналогичных технологий)
- Имеете опыт работы с Trino и понимание принципов распределенного выполнения запросов
- Имеете опыт работы с Airflow и построения сложных data workflows, разработки кастомных операторов, сенсоров, хуков и плагинов
- Опыт работы с Kubernetes и контейнеризированными платформами
- Опыт управления инфраструктурой через GitOps (ArgoCD, Helm)
- Инженерный подход, самостоятельность и способность принимать архитектурные решения
- Продуктовое мышление: способность понимать потребности пользователей платформы и развивать удобный и надежный data-продукт
Будет плюсом, если вы:
- Имеете опыт разработки кастомных плагинов и компонентов для Spark на Scala/Java (не PySpark)
- Имеете опыт построения self-service Data Platform
- Имеете опыт проектирования multi-tenant Data Lakehouse
- Имеете опыт настройки безопасности, governance и управления доступами
- Имеете опыт работы с Iceberg catalog / Polaris
- Имеете опыт оптимизации стоимости вычислений и хранения данных в облаке
- Имеете опыт работы в роли Tech Lead / Lead Data Engineer: принятие технических решений, определение архитектурных подходов и развитие инженерных практик
- Имеете опыт проведения архитектурных ревью, оценки технических решений и выбора технологий
- Имеете опыт принятия компромиссов между скоростью разработки, надежностью, стоимостью инфраструктуры и долгосрочной поддерживаемостью решения
- Аpache Spark
- DBT (Spark DBT, Trino DBT)
- Trino
- Apache Airflow
- S3-совместимое объектное хранилище
- Kubernetes
- Apache Polaris (metastore)
- GitOps (ArgoCD, Helm)
- Prometheus, VictoriaMetrics, Grafana
#беларусь
Chief Data Officer (CDO) в Евроторг
Ищем сильного лидера, который:
- разработает и реализует стратегию управления данными;
- построит и возглавит Data Office;
- объединит бизнес и ИТ вокруг единого видения развития данных;
- внедрит процессы Data Governance и Data Quality;
- будет управлять развитием корпоративной платформы данных и аналитики;
Для нас важен практический опыт построения функций управления данными, реализации программ цифровой трансформации и управления масштабными кросс-функциональными инициативами.
«Детмир Тех» — команда, развивающая цифровую экосистему группы компаний «Детский мир». Делаем продукты для миллионов клиентов и сервисы, которые помогают бизнесу работать быстрее.
Нашему будущему коллеге предстоит работать над развитием Big Data Platform (hadoop + tooling in k8s) , которое является основным источником данных для всей группы компаний.
Мы ищем эксперта с высокой ролью ответственности, умеющего самостоятельно и в команде принимать решение по архитектуре и реализации.
Чем предстоит заниматься:
-
Проектирование, разработка и поддержка витрины данных
-
Разработка алгоритмов выгрузки, обработки, хранения данных (ETL) из разных систем, интеграция с внешними системами
-
Автоматизация процессов обновления данных
-
Разработка правил и процедур контроля качества данных
-
Помогать коллегам DA и DS
-
Техническая поддержка наших инструментов
-
Разворачивание helm chart
-
Сборка docker образов
-
Продуктивизация моделей машинного обучения от команды DS
Что ожидаем от вас:
-
Знания SQL
-
Понимание жизненного цикла разработки ПО, культуры CI/CD
-
Опыт создания и оптимизации Spark batch jobs
-
Опыт разработки на Java (kotlin) Spring Service
-
опыт работы с Airflow, умение создавать DAG'и, состоящие из Task и Sensor
-
Отличное понимание устройства и принципов проектирования БД
-
Опыт участия в проектах построения DWH и Data Lake в роли ETL-разработчика – от 3 лет
-
Умение писать чистый поддерживаемый код и техническую документацию
-
Опыт работы с Docker
Будет плюсом:
-
Понимание технологий DevOps, опыт работы с CI/CD-инструментами.
-
Опыт работы с Hadoop
-
Опыт работы с Kubernetes
-
Опыт работы с современными брокерами и очередями сообщений
-
Опыт работы с Nifi
-
Математическое\инженерное образование
Наш стек:
-
последние версии Apache Spark (scala) и Apache Airflow
-
Zeppelin
-
Hadoop 3
-
Kafka
-
Docker, Kubernetes
-
GitLab для CI/CD
Мы предлагаем:
- Официальное оформление в соответствии с ТК РФ в IT-аккредитованную компанию;
- Совокупный доход: оклад + годовой бонус;
- График работы: 5/2 (гибридный формат работы);
- Вакансия открыта для кандидатов, проживающих в РФ, удалённый формат работы из других стран не рассматривается;
- Техника для работы;
- Полис ДМС;
- Программа Best Benefits;
- Внутреннее обучение;
- Спортивные и развлекательные мероприятия, участие в корпоративной жизни компании.
Присоединяйтесь к нам и станьте частью истории бренда с историей!
«Детмир Тех» — команда, развивающая цифровую экосистему группы компаний «Детский мир». Делаем продукты для миллионов клиентов и сервисы, которые помогают бизнесу работать быстрее.
Нашему будущему коллеге предстоит работать над проектом: OMNI-дашборды - системой визуализации отчетности для покрытия потребности в аналитических инструментах для высшего и среднего менеджмента Компании. Работать над развитием Корпоративного Хранилища Данных (Hadoop), которое является основным источником данных для этого проекта.
Цель проекта – реализовать уникальную систему по работе с клиентскими данными ПАО "Детский мир" на основе используемых компонентов и стэка технологий и программного обеспечения компании. По итогам проекта в компании появится единый источник непротиворечивой и консистентной информации для принятия управленческих решений.
Мы ищем эксперта с высокой ролью ответственности на проекте, умеющего самостоятельно и в команде принимать решение по архитектуре и реализации.
Чем предстоит заниматься:
-
Написание дагов в Airflow
-
Проектирование, разработка и поддержка витрин данных
-
Обычно это Sql или DataFrame API
-
-
Разработка алгоритмов выгрузки, обработки, хранения данных (ETL) из разных систем, интеграция с внешними системами
-
sql подобные системы
-
а так же csv, xml, json, API
-
-
Разработка правил и процедур контроля качества данных
-
Поддержка переливки витрин в ClickHouse
-
Создание Дашбордов в SuperSet
-
Поддержка цепочки поставки витрин
Что ожидаем от вас:
-
Создавать Spark ETL pipeline для загрузки данных в HDFS и преобразования данных на HDFS
-
Обсуждать с аналитиками алгоритмы преобразования данных, переводить SQL от аналитиков в Spark API
-
Участвовать в code review
-
Проектировать и создавать архитектуру проекта и адаптировать ее под новые требования
-
Понимать процессы CI/CD, мониторинга, взаимодействовать с командой DevOps
Будет плюсом:
-
Опыт работы с Kubernetes, Helm
-
Опыт работы с GitLab CI/CD
Наш стек:
-
Hadoop 3 версии, размером 3 Петабайта
-
Apache Spark и Apache Airflow
-
ClickHouse
-
SuperSet
-
Docker, Kubernetes, VictoriaMetrics
-
GitLab для CI/CD
Мы предлагаем:
-
Официальное оформление в соответствии с ТК РФ;
-
Срочный ТД (декретная ставка);
-
Совокупный доход: оклад + годовой бонус;
-
График работы: 5/2 (гибридный формат работы/ удаленный);
-
Вакансия открыта для кандидатов, проживающих в РФ, удалённый формат работы из других стран не рассматривается;
-
Техника для работы;
-
Полис ДМС;
-
Программа Best Benefits;
-
Внутреннее обучение;
-
Спортивные и развлекательные мероприятия, участие в корпоративной жизни компании.
Присоединяйтесь к нам и станьте частью истории бренда с историей!
Вакансия предполагает работу в офисе, для каждого города — своя карточка вакансии. Щёлкни по городу, чтобы перейти на карточку нужного города.
SMARTER — федеральный аутсорсинговый контакт-центр, работающий на рынке более 12 лет. За это время мы зарекомендовали себя как надёжный партнёр для бизнеса в России и странах СНГ.
Мы работаем на самописном софте для автоматизации человеческих и роботизированных контактных центров QsIQ.
СУБД — MySQL, MongDB, широко используем Reddis и RabbitMQ.
Есть ряд сервисных задач по грумингу БД — несколько независимых инстансов требуют присмотра и автоматизации.
Ищем инженера, который смотрит на работу не только через призму трабл-тикетов или сервисных алертов, а способен немного понять, какой бизнес-процесс лежит в основе эксплуатации подконтрольных ему сущностей: зачем, как и как часто что-то куда-то пишется, когда это можно поломать, как сильно это нужно хранить, как долго оно должно отвечать и т.п.
Какие задачи тебя ждут:
- Проектирование и внедрение новых баз данных на MySQL, MongoDB и MS SQL Server (выбор типа СУБД, проектирование схем/коллекций, стратегия индексации и шардирования);
- Регулярный аудит существующих баз данных: анализ структуры, производительности, конфигурации;
- Повышение производительности баз данных: анализ и оптимизация запросов, работа с индексами, партиционирование, настройка СУБД и Linux;
- Работа с аналитическими запросами и выгрузками данных: подготовка и оптимизация запросов, создание витрин и отчётов, обработка больших объёмов данных по задаче от бизнеса;
- Валидация, очистка, обогащение и поддержание качества данных в таблицах и коллекциях;
- Настройка и поддержка высокой доступности: репликация, кластеризация, failover-решения, балансировка нагрузки;
- Организация резервного копирования, восстановления и disaster recovery;
- Настройка мониторинга состояния и здоровья баз данных;
- Автоматизация рутинных задач (скрипты Bash/Python, Ansible);
- Интеграция баз данных с приложениями и брокерами сообщений;
- Документирование архитектуры и лучших практик.
Что необходимо, чтобы стать частью команды:
- Несколько лет практического опыта работы инженером/администратором баз данных MySQL на коммерческих боевых проектах;
- Опыт работы с MongoDB: проектирование коллекций, индексы, aggregation pipeline, понимание модели данных;
- Понимание архитектуры СУБД, принципов индексации, нормализации, транзакций, изоляции и consistency;
- Опыт тюнинга производительности баз данных и Linux-серверов;
- Опыт написания скриптов автоматизации (Bash + Python);
- Понимание принципов высокой доступности и отказоустойчивости;
- Опыт работы с системами мониторинга;
- Ответственность, самостоятельность и системный подход к решению задач.
Будет преимуществом:
- Практический опыт с Redis (кэширование, pub/sub, Redis Cluster, persistence);
- Опыт настройки и поддержки RabbitMQ (очереди, exchange, routing);
- Продвинутый уровень работы с Zabbix (шаблоны, API, distributed monitoring, alerting);
- Опыт работы в high-load проектах, fintech, e-commerce или с большими данными;
- Опыт настройки кластеров высокой доступности.
Мы предлагаем:
- Оформление по ТК РФ;
- График работы 5\2 с 9:00 до 18:00 (выходные: суббота, воскресенье);
- Оклад 100 000 р. на руки + премия (период испытательного срока 50 000 р., далее 60 000 т.р.);
- Обучение новым технологиям;
- Работа в современном офисе или удалённо.
Ждем вас в нашей команде!
Компания ООО ИЦ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.
В связи с активным развитием проектов в компании открыта вакансия Python-разработчик.
ВАМ ПРЕДСТОИТ:
- Выполнение работ по миграции с платформы Elasticsearch на целевую;
- Переписывать код расчета метрик с JavaScript на SQL/Python (PostgreSQL, AirFlow);
- Переводить бэкенд-сервисы приложений на работу с целевым хранилищем (PostgreSQL);
- Писать джобы на AirFlow/PySpark по отправке готовых расчетов метрик/витрин с данными в целевые системы/компоненты (Hadoop, Kafka);
- Писать автоматизированные тесты под разработанный функционал.
НАШИ ОЖИДАНИЯ ОТ УСПЕШНОГО КАНДИДАТА:
- Опыт коммерческой (промышленной) разработки на Python от 2 лет (Обязательно);
- Знание и владение SQL на высоком уровне;
- Опыт работы с Airflow;
- Опыт работы с базами данных и очередями сообщений (Postgres, Kafka);
- Понимание практик и инструментов DevOps (Docker, Kubernetes, Ansible, Jenkins, Nexus и т.п.);
- Опыт работы с инструментами мониторинга и логирования;
- Желание разбираться в продукте в целом, а не только в своем коде;
- Умение работать в команде, ответственность и самостоятельность;
- Опыт настройки интеграции и работы с API языковых моделей (LLM);
- Опыт работы с JavaScript;
- Знакомство с Elasticsearch.
МЫ ПРЕДЛАГАЕМ:
- Работа в аккредитованной ИТ-компании;
- Формат работы - удаленка
- Оформление в соответствии с ТК РФ с первого дня работы;
- ДМС с первого дня работы (включая стоматологию);
- Корпоративный спорт: скидки на посещение фитнес-клубов, футбольная и волейбольная секции, собственный йога класс;
- Работа в команде, использующей гибкий подход к разработке;
- Работа в развивающемся IT-проекте с командой специалистов высокого уровня, возможность развития и обмена опытом.
Вакансия предполагает работу в офисе, для каждого города — своя карточка вакансии. Щёлкни по городу, чтобы перейти на карточку нужного города.
ГК "ИнфоТеКС", входящая в ТОП-5 компаний России в сфере защиты информации, лидер в разработке средств защиты информации, приглашает Инженера данных
Обязанности:
- Наладить потоковую или batch-поставку данных, организовать оркестрацию задач (например, Airflow).
- Настраивать автоматический сбор данных из разных источников (базы данных, API, файлы, очереди сообщений).
- Развивать и оптимизировать текущую архитектуру хранения: организовывать долгосрочное хранение данных (Data Lake / Parquet), обеспечивать интеграцию между источниками и аналитическими БД.
- Поднимать и поддерживать тестовые стенды для отработки сценариев сбора данных (Docker Compose, генераторы тестовых данных).
- Разработка бенчмарков для оценки функциональных и нефункциональных характеристик решений.
- Опыт разработки на Python и уверенное владение SQL.
- Уверенное владение командной строкой Linux.
- Опыт работы с источниками данных: реляционные БД (PostgreSQL), аналитические БД (ClickHouse) и файловые системы/объектные хранилища (FTP/NFS/S3).
- Навыки контейнеризации (Docker/LXD) и умение поднимать локальные стенды для тестирования своих пайплайнов.
- Опыт написания ETL-скриптов на Python (включая библиотеки pandas, polars или PyArrow) для трансформации и перемещения данных между источниками.
- Умение писать простые бенчмарки (замерять время, память, CPU).
Условия:
-
работа в офисе;
-
полное соблюдение трудового законодательства РФ, оплачиваемые отпуска и больничные листы, "белая" заработная плата;
-
оплачиваемое работодателем питание в офисе или кафе;
-
ДМС (добровольное медицинское страхование), страховка от несчастных случаев;
-
корпоративные мероприятия и спортивные инициативы;
-
возможность получения профессиональных сертификатов и прохождения курсов повышения квалификации за счёт компании.
Data Engineer в MIA Dev
💰280 000 ₽ – 330 000 ₽ на руки
📌Условия и бонусы:
Фултайм, удаленно (РФ), оформление — ИП/СЗ.
📌Наши ожидания:
– опыт работы с Python;
– уверенные знания SQL и опыт работы с базами данных;
– понимание концепций построения хранилищ данных;
– хорошие аналитические навыки;
– опыт работы с технологиями (framework) Big Data: Apache Airflow, Spark и его компоненты, очереди (MQ): Kafka, RabbitMQ.
Стажер Data Engineer в Аналитику для сервиса Заявки Телеком данных [Big Data, МТС Веб Сервисы]
КОГО МЫ ИЩЕМ?
Стажера Дата инженера в Аналитику для сервиса Заявки Телеком данных
ОПИСАНИЕ ПРОДУКТА
Аналитика для сервиса Заявки Телеком данных - продукт занимается выгрузками данных по телекому (начисления, трафик, услуги, тарифы) для внутренних заказчиков, работа с разными источниками (Hadoop, Greenplum, Oracle, другие БД)
ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:
- Выгружать и обрабатывать гео- и телеком-данные (трафик, локации нахождения абонентов);
- Разрабатывать простые ETL-процессы;
- Выполнять ad-hoc-задачи на PySpark;
- Создавать сегменты пользователей;
- Готовить отчётность и обрабатывать табличные данные на PySpark
ЧТО МЫ ОЖИДАЕМ:
- В т.ч. студенты 3 - 6 курсов бакалавриата, специалитета или магистратуры;
- Уверенное базовое знание Python;
- Уверенное знание SQL;
- Будет плюсом: знание распределенных вычислений, PySpark
ЧТО МЫ ПРЕДЛАГАЕМ:
- Есть ли куратор? Да, наставник будет с тобой с самого начала;
- Какой график? Гибкий, начало работы в промежутке с 8 до 11, занятость - 30 - 40 часов в неделю;
- Условия? Официальное оформление сроком от 6 до 9 месяцев с реальной возможностью остаться в штате - такие кейсы уже проходили и нам понравилось :)
О нас: Команда разработки, полная удаленка, работаем по МСК. Ищем эксперта, который закроет все вопросы по производительности и архитектуре БД.
Задачи:
-
Оптимизация тяжелых запросов (EXPLAIN, настройка индексов).
-
Написание и рефакторинг PL/pgSQL (функции, процедуры, триггеры).
-
Аудит блокировок, работа с MVCC, настройка autovacuum.
-
Участие в проектировании схем данных.
-
Базовое сопровождение репликации и отказоустойчивости.
Требования:
-
Опыт коммерческой работы с PostgreSQL от 5 лет.
-
Экспертный SQL: оконные функции, CTE, JSONB.
-
Глубокое понимание планов выполнения и внутреннего устройства СУБД.
-
Уверенное владение PL/pgSQL.
-
Git + опыт работы с миграциями (Flyway/Liquibase).
Будет плюсом: TimescaleDB, Patroni, Linux, опыт апгрейдов кластеров.
Условия:
-
Полная удаленка.
-
Официальное трудоустройство или самозанятость.
-
Рабочий день пересекается с МСК (10:00–19:00).
-
Сложные нагрузки, интересные задачи.
Команда проекта работает над продуктом Аналитическое приложение ЦУНДО, АС для формирования и управления отчетностью подразделения ЦУНДО (Центра управления наличного денежного оборота).
Состоит из Базы данных GreenPlum и приложения на Java.
Твои задачи:
- Разрабатывать ETL ПО: витрины данных (Scala + Spark), а также интеграционные потоки с использованием kafka, хранилища данных на Postge и API методов
- Искать возможности оптимизации, повышения скорости расчета, эффективности использования вычислительных ресурсов
- Повышать стабильность работы приложений, анализ типовых ошибок и возможных рисков, развивать системы логирования, её полноту и информативность для последующей промышленной эксплуатации, при необходимости участвовать в решении возникающих при эксплуатации инцидентов
- Развивать систему контроля качества, автотестов
- Agile работа в тандеме с аналитиком данных, который является носителем ТЗ на разработку
- Самостоятельное осваивать и соблюдать стандарты разработки (описание в Confluence)
- Оформлять релизную документацию – паспорт релиза, чек-листы
- Также у команды есть задачи, связанные с развитие ИИ агентов на этапе зарождения направления
Что мы ждем от тебя:
- Опыт работы в роли Разработчика от 3 (трех) лет за период с 2018 г. по
настоящее время в проектах по разработке и/или модификации и/или внедрению
ПО с использованием инструментов и технологий GreenPlum - Навыки разработки витрин данных на GreenPlum, Posgtres (SQL/PSQL, MPP – архитектура, технология дистрибуции, ролевая модель)
- Опыт оптимизации производительности SQL запросов (план запроса, индексы, дистрибуция, full scan)
- Опыт с ETL инструментами (Informatica PowerCenter)
- Знание экосистемы Hadoop (HDFS, Spark, Hive, Hue, Yarn)
- Система контроля версий Bitbucket и DevOps инструментарием (Jenkins, Nexus)
- Опыт командной разработки с использованием Confluence, Jira
- Опыт работы, как в каскадных (waterfall), так и в гибких методологиях (Agile
и/или DevOps и/или Scrum) разработки
Что мы обеспечиваем:
- Внутренние семинары, митапы, мы очень любим учиться новому
- ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи
- Технику для комфортной работы
- Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудник
ID 3006 - Middle Data Engineer
🌍 Локация/гражданство: Любая/Любое
💼 Удаленно
🕔 Занятость: фулл тайм
🏢 Проект: Ритейл
💡 Требования:
В команду требуется 3 дата инженера с опытом дата аналитики.
- Знание SQL (индексы, функции, оптимизация, профилирование производительности);
- Опыт работы с любой реляционной БД (Postgres, Oracle, MySQL, MsSQL, DB2 и т.п.);
- Понимание/опыт работы со стеком S3 (обязательно!) Data Vault (менее приоритетнее), Trino, AirFlow, SQL,
- Умение работать с Git (знание команд git pull/commit/push);
- Опыт работы с DBT, Cosmos Понимание устройства Iceberg, форматов данных;
- Опыт работы с построением хранилищ данных, понимание принципов архитектуры;
- Базовые навыки по работе с данными на Python;
- Опыт использования системами ведения проектов и документации.
⚙️Стек: S3, Trino, AirFlow, SQL, Data Vault
📋Задачи:
Хранилище в формате Data vault, Нужно будет раскладывать данные по нему.
- Вести разработку согласно ТЗ;
- Дорабатывать существующие витрины EDW и разрабатывать новые;
- Разработка типовых потоковых интеграционных решений на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
- Поддержание в актуальном состоянии документации платформы больших данных;
- Предоставление отчетности о своей деятельности руководителю.
📨 Отклик — через форму: https://forms.gle/qxF3H1eiV4E4T7p19 или напрямую рекрутеру @Lissheim
❗️Откликайтесь только при релевантном опыте.
❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями
❗️Повторный отклик: ID вакансии + сверка.
#Data #Engineer #Удаленно #вакансия
Центр изучения и сетевого мониторинга молодёжной среды – аккредитованная IT-компания, созданная по поручению Президента России в 2018 году.
Наша миссия – разработка социально значимых технологических решений для защиты детей и подростков от деструктивного контента в цифровом пространстве. Через создание комплексной мониторинговой системы мы формируем безопасную среду для нового поколения.
Мы ищем в нашу команду разработчика систем извлечения данных.
Чем предстоит заниматься
- Проектировать и разрабатывать сервисы для автоматизированного получения и обработки данных из внешних систем и источников
- Исследовать доступные способы взаимодействия с источниками данных: анализировать их структуру, протоколы и форматы представления информации; выбирать наиболее эффективные и стабильные методы интеграции, оценивать сложность реализации, долгосрочную устойчивость решения и потенциальные риски
- Отвечать за надежность сервиса: писать код, устойчивый к деградации и рассчитанный на непрерывную эксплуатацию в течение длительного периода
- Проектировать архитектуру сервисов и принимать обоснованные технические решения.
- Делать разовые выгрузки и обработку данных под задачи бизнеса
Что мы ожидаем от кандидата
- Высшее техническое образование
- Опыт коммерческой разработки 1–3 года, включая написание устойчивых программ для добычи данных, которые подтверждённо работали продолжительное время (например, полгода)
- Уверенный Python 3.10+, работа с асинхронностью
- SQL на среднем уровне
- Опыт с FastAPI, SQLAlchemy, PostgreSQL
- Очереди и брокеры: RabbitMQ (aio-pika), Kafka (aiokafka), Redis
- Сетевое взаимодействие и сбор данных: aiohttp, Playwright, парсинг HTML (BeautifulSoup4 и аналоги)
- Контейнеризация: Docker
- pandas для разовой обработки и экспорта данных
- Архитектурное мышление: понимание чистой архитектуры, паттерна портов и адаптеров, опыт их применения на практике
- Умение корректно коммуницировать и аргументировать технические решения
Будет плюсом
- Опыт реверс-инжиниринга мобильных приложений
Что мы предлагаем
- Масштабные и интересные задачи в общественно значимых проектах
- Возможность профессионального роста и развития за счет компании: обучение, конференции, менторство
- Официальное трудоустройство по ТК РФ в аккредитованной IT-компании
- Конкурентный уровень з/п
- График работы: 5/2, с 10:00 до 19:00
- Формат работы - удаленный / гибрид
- Место работы - офис в центре Москвы
О вакансии
Компания развивает корпоративную аналитическую витрину данных. На текущий момент бизнес-логика расчёта показателей реализована в скриптах загрузки Qlik Sense и SQL-представлениях на стороне MS SQL Server. Решение остаётся работоспособным, однако плохо масштабируется, затрудняет тестирование и системный контроль версий. Мы переходим к новой архитектуре: ядром аналитики становится витрина данных на ClickHouse, бизнес-логика реализуется в Python-кодовой базе с применением ООП, модульной структуры, code review, тестов и AI-ассистентов. Qlik Sense сохраняет роль слоя визуализации поверх готовых витрин.
Мы ищем специалиста, способного работать с обоими слоями: проектировать витрины и реализовывать к ним Python-логику, а также собирать на их основе отчёты в Qlik Sense или другом BI-инструменте.
Стек | Слой | Используемые технологии | |---|---| | Хранилище | ClickHouse 24.10 | | ETL и оркестрация | Python, Dagster | | Backend и API | Django, Django REST Framework | | Источники | MS SQL Server — промежуточный слой с view и таблицами, сформированными из баз 1С, Headway, Битрикса и других внутренних веб-проектов | | BI | Qlik Sense | | Инфраструктура | Docker Compose, Linux, GitLab CI | | AI-разработка | Cursor, Claude Code, GitHub Copilot |
Зоны ответственности:
- Проектирование витрин данных (raw / dim / fact слои) и поддержание модели данных в ClickHouse
- Разработка ETL-пайплайнов на Python и Dagster
- Поэтапный перенос бизнес-логики из скриптов Qlik Sense и SQL-представлений в Python-кодовую базу с покрытием тестами и code review
- Разработка и поддержка отчётов и дашбордов в Qlik Sense поверх готовых витрин
- Соблюдение инженерных практик: модульная архитектура, тесты, PR-ревью, контроль версий
- Применение AI-ассистентов в составе рабочего процесса
- Уверенное владение Python. Понимание ООП, опыт проектирования модульного кода с разделением на классы и слои. На технической части собеседования фокус на структуре решения, а не на синтаксисе.
- Сильный SQL. Сложные запросы, CTE, оконные функции, понимание планов исполнения. Опыт работы хотя бы с одним аналитическим движком в продакшене: PostgreSQL, ClickHouse, Vertica, Greenplum, BigQuery, Snowflake.
- Опыт работы с BI-инструментами. Qlik Sense — предпочтительно. Power BI, Tableau, Superset или Metabase также рассматриваются при готовности освоить Qlik (команда обеспечит онбординг).
- Понимание моделирования данных. Star schema, slowly changing dimensions, нормализация и денормализация, идемпотентность пайплайнов.
- Опыт командной работы с Git. Регулярные PR, code review, разрешение merge-конфликтов. Преимуществом будет - Опыт продакшен-эксплуатации ClickHouse: знание движков (MergeTree, ReplacingMergeTree, AggregatingMergeTree), партиционирования, materialized views
- Работа с asset-ориентированными и декларативными оркестраторами: dbt, Dagster, Prefect, Airflow с asset-DAG - Опыт обработки объёмов от 10 млн строк, понимание производственных ограничений ETL - Опыт миграции бизнес-логики из BI-скриптов в полноценную кодовую базу - Регулярное использование AI-ассистентов (Cursor, Claude Code, Copilot) в процессе разработки
- Базовые навыки DevOps: Docker, работа с Linux-логами, понимание сетевого взаимодействия
- Python-инструменты для работы с данными: polars, pyarrow, pandas - Опыт интеграций с MSSQL через pymssql или SQLAlchemy
- Возможность с нуля построить современную архитектуру аналитики, без накопленной legacy-нагрузки
- Свобода в выборе инструментов в рамках согласованного стека
- Регулярное code review и инженерная культура разработки
- Поддержка использования AI-инструментов в рабочем процессе
- Корпоративную культуру, построенную на уважении и доверии.
- Получение опыта в уникальной фармацевтической компании.
- Работу в команде высококвалифицированных и ответственных профессионалов, работающих над продвижением инновационных и воспроизведенных лекарственных средств.
- Достойную заработную плату (мы готовы обсуждать уровень дохода).
- Полугодовые премии при достижении показателей KPI.
- Гибкое начало рабочего дня.
- Оплачиваемые обеды.
- ДМС после испытательного срока.
- Возможность карьерного и профессионального роста.
- Уникальные программы обучения, включая возможность индивидуального коучинга.
Head of Data Engineering в Wallet
🤩Удаленно
📸Криптокошелек, интегрированный в Telegram, поддерживающий TON и Bitcoin
🤩 Скачано более 36 миллионов раз
🤩 Около 200 сотрудников, 90% русскоговорящих
🤩 Поддержка Bitcoin (BTC), Toncoin (TON) и Tether (USDT)
🕸 Требования:
• Подтвержденный опыт создания и управления надежными архитектурами хранилищ данных;
• Опыт руководства межфункциональными командами (инженеры + аналитики);
• Глубокое понимание ClickHouse, dbt и современных методов обработки данных.
Откликнуться: тут
🚀 Offer Inside
#data #head
Мы - MAREE, международный косметический бренд и бестселлер на Amazon. Наши продукты уже покорили сердца более 1 000 000 девушек в США, и мы продолжаем активно расти.
Мы родом из СНГ, но работаем в первую очередь с рынком США (Amazon и другие площадки), а команда распределена по миру: СНГ, Европа и Азия. Мы быстро тестируем гипотезы, много экспериментируем с продуктами и упаковкой и ценим людей, которые любят скорость, системность и ответственность.
Задачи:
- Проводить системный анализ мастер-систем: разбирать структуру данных и бизнес-логику, прорабатывать способы интеграции и подходы к межсервисному взаимодействию
- Формировать требования на разработку пайплайнов и сервисов
- Формализовать постановки на разработку REST методов в спецификации OpenAPI
- Проектировать концептуальные и логические модели DWH; описывать объекты и зависимости в Data Catalog/Lineage
- Разрабатывать SQL-запросы для загрузки и трансформации данных между слоями DWH
- Разрабатывать Core витрины данных для ключевых бизнес-доменов
- Настраивать обновление моделей данных; внедрять и поддерживать Data Quality‑проверки
- Управлять качеством: контролировать бэклог исправлений источников, следить за совместимостью версий и результатами контракт‑тестов
Мы ожидаем, что вы:
- Владеете SQL на уровне построения витрин данных со сложной логикой оптимизации плана выполнения запроса
- Есть опыт работы с DBT
- Есть опыт проектирования DWH с помощью Data Vault
- Владеете Python на уровне подключения к внешним сервисам и обработки небольших массивов данных
- Обладаете опытом проведения бизнес и системного анализа
- Обладаете опытом постановки задач на разработку
- Обладаете опытом участия в проектах по созданию и развитию DWH
- Понимаете основные подходы и концепции построения DWH (Inmon, Kimball, Data Vault, Anchor Modeling)
- Понимаете процессы Data Governance и Data Quality
- Знакомы с принципами обработки данных (ETL, ELT, Batch, Streaming)
Будет здорово, если вы:
- Имеете опыт создания отчетов с использованием любого BI-инструмента
- Знакомы или использовали в работе Apache Airflow
- Знакомы или использовали в работе Docker
- Работали с командной строкой Unix
Условия:
- Возможность реализовать свои идеи в одной из самых успешных e-commerce команд СНГ;
- 100% удаленная работа из любой точки мира;
- Стабильная высокая заработная плата;
- Возможность в дальнейшем расти и развиваться в компании.
- Возможность приложить руку к построению архитектуры корпоративного хранилища данных.
Чем предстоит заниматься:
- Дорабатывать системы управления ETL-потоками данных;
- Реализовывать интеграционные взаимодействия с системами-источниками данных;
- Реализовывать задачи по формированию маркетинговых событий с учетом требований;
- Контролировать качества кода и соблюдения архитектурных стандартов;
Что мы ждем:
- Опыт разработки бизнес-логики на языке SQL от 2 лет;
- Создание хранимых процедур, функций, сложных запросов, триггеров;
- Понимание планов запросов, работа с индексами;
- Понимание оконных функций и обобщенных табличных выражений;
- Аналитический склад ума;
- Активная жизненная позиция
Что мы предлагаем:
- Стабильный конкурентный доход;
- Гибридный режим работы: возможность работать удаленно (частично или полностью);
- Работу в аккредитованной Минцифры России ИТ-компании, резиденте Сколково;
- Работу в стабильной и активно развивающейся компании – лидере инвестиционного рынка;
- Современный стек технологий, амбициозные проекты, возможность профессионального развития;
- ДМС с первого месяца работы;
- Оформление согласно ТК РФ.
ID 3006
#Data #инженер
Middle
Локация РФ/РБ
Кол-во специалистов
3
Длительность проекта
до 21.08.2026 (с пролонгацией)
Объем участия в проекте
Высокая нагрузка
~160 ч/мес
Формат взаимодействия
Удаленно
Доступность специалиста
по мск
Обязательные требования
В команду требуется 3 дата инженера с опытом дата аналитики.
Стек: S3, Trino, AirFlow, SQL, Data Vault
- Знание SQL (индексы, функции, оптимизация, профилирование производительности);
- Опыт работы с любой реляционной БД (Postgres, Oracle, MySQL, MsSQL, DB2 и т.п.);
- Понимание/опыт работы со стеком S3 (обязательно!) Data Vault (менее приоритетнее), Trino, AirFlow, SQL,
- Умение работать с Git (знание команд git pull/commit/push);
- Опыт работы с DBT, Cosmos Понимание устройства Iceberg, форматов данных;
- Опыт работы с построением хранилищ данных, понимание принципов архитектуры;
- Базовые навыки по работе с данными на Python;
- Опыт использования системами ведения проектов и документации.
Задачи на проекте
Хранилище в формате Data vault, Нужно будет раскладывать данные по нему.
- Вести разработку согласно ТЗ;
- Дорабатывать существующие витрины EDW и разрабатывать новые;
- Разработка типовых потоковых интеграционных решений на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
- Поддержание в актуальном состоянии документации платформы больших данных;
- Предоставление отчетности о своей деятельности руководителю.
Этапы отбора
1. Техническое интервью
2. Интервью с ПО
Описание проекта и команды
Крупная ритейл компания
Обязательные условия выхода на проект
При отклике на вакансию просьба указывать полностью ФИО кандидата, дату рождения, локацию.
📩 Телеграм для связи: @veroneko
Вакансия предполагает работу в офисе, для каждого города — своя карточка вакансии. Щёлкни по городу, чтобы перейти на карточку нужного города.
Чем предстоит заниматься:
- Проектировать и оптимизировать масштабируемые пайплайны обработки данных (batch и streaming) на базе Airflow, Spark, Hadoop, ClickHouse;
- Поддерживать высокое качество данных (валидация, профилирование, мониторинг) и своевременную поставку признаков для аналитики и машинного обучения;
- Участвовать в разработке AI/ML сервисов в рамках Корпоративного центра ИИ.
Мы предлагаем:
- Возможность присоединиться к профессиональной, высоко мотивированной и результативной команде, перспективы карьерного роста;
- Официальное трудоустройство в аккредитованный IT-актив, оплачиваемые отпуск, командировки, больничные;
- Рыночную заработную плату по результатам собеседования;
- ДМС со стоматологией после испытательного срока, 100% компенсацию больничного;
- Комфортные офисные условия;
- Корпоративные программы от наших партнеров;
- Бонусное подключение к телеком-услугам Дом.ru по тарифу «Сотрудник»;
- Яркую корпоративная жизнь и дружелюбную атмосферу в коллективе профессионалов!
Мы ждём от кандидата:
- Наличие высшего образования;
- Продвинутое владение SQL (ClickHouse, Hive, реляционные СУБД), оптимизация запросов и структур хранения;
- Продвинутое владение Python, PySpark и основы Scala для разработки и оптимизации пайплайнов на Spark;
- Опыт работы с Hadoop/HDFS, интеграцией с объектными хранилищами (S3) и потоковой обработкой (Kafka);
- Проектирование и сопровождение устойчивых ETL/ELT-процессов в Airflow;
- Навыки работы с Git, CI/CD и инструментами анализа (Jupyter, DataSphere).
7Цветов - это перспективное место работы для людей, готовых к честной плодотворной работе с полной самоотдачей в дружественном коллективе. Работа в нашей компании - это, прежде всего, прекрасная атмосфера, которая дает возможность работникам многому научится и улучшить свои профессиональные и индивидуальные навыки. Мы в поиске талантливых профессионалов, которые могли бы стать частью нашей команды и принять участие в развитии компании.
О проекте и роли:
Мы строим контур данных и ИИ-инструментов: скоропорт, логистика, сезонные пики, динамическое ценообразование и 1С как критическое ядро. Красивое демо ценой риска для прода или утечки данных нам не подходит.
Сначала фундамент: витрина данных на ClickHouse, слои Raw / Clean / Mart, воспроизводимые пайплайны, сверка с 1С и семантический слой — каталог данных, словарь бизнес-терминов, единые метрики, структура трансформаций и data lineage. Аналитики описывают смысл, инженер превращает его в код, проверки и контракты.
Реализованная витрина разблокирует нам AI-инструменты. Современная обвязка: RAG, агенты, tool/API-интеграции, guardrails, evals, cost tracking, MCP и гибридный подход к моделям, маскирование, llm gateway…
Что предстоит делать (Этапы проекта)
Этап 1. Создание фундамента данных (Data Governance)
Наш внешний партнер разворачивает инфраструктуру и софт, начинает реализовывать витрину, вы подхватываете процесс.
- Построение аналитической витрины: Разработка хранилища на ClickHouse с четким разделением на слои (Raw / Clean / Mart).
- Обеспечение надежности: Создание воспроизводимых пайплайнов данных и обязательная автоматическая сверка результатов с 1С.
- Разделение контуров работы:
- Аналитики описывают бизнес-смысл: ведут каталог данных, словарь бизнес-терминов, фиксируют единые метрики холдинга и структуру трансформаций.
- Инженеры превращают этот смысл в надежный код, настраивают проверки качества данных (Data Quality), внедряют дата-контракты и выстраивают сквозной Data Lineage.
Этап 2. Развертывание AI-инструментов
После готовности дата-слоя мы подключаем современную ИИ-инфраструктуру:
- Внедрение RAG, автономных агентов и tool/API-интеграций.
- Использование протокола MCP (Model Context Protocol) и гибридного подхода к выбору моделей.
- Обеспечение безопасности и контроля: маскирование данных, использование LLM Gateway, обязательная настройка ограничений (guardrails), систем оценки (evals) и сквозного мониторинга затрат (cost tracking).
Технологический контур: (примерно)
• Data: ClickHouse, SQL, dbt, Airflow, Kafka/Redpanda, Debezium, S3, BI/Superset.
• Backend: Python 3, FastAPI, Pydantic, async, REST/JSON, интеграции с внутренними API.
• AI/RAG/Agents: Qdrant или аналог, embeddings, LangGraph/LangChain или аналоги, MCP, LLM-gateway, structured output.
• Quality & Safety: evals, tracing, Langfuse/LangSmith или аналоги, guardrails, De-ID, HITL, cost tracking.
Что для нас обязательно:
• Опыт коммерческой разработки на Python или в роли Data Engineer / Backend Engineer от 3 лет.
• Уверенный SQL и понимание разницы между операционной базой, DWH, витриной, метрикой и источником правды.
• Опыт ETL/ELT-пайплайнов или backend-сервисов, где важны воспроизводимость, логирование, ретраи, тесты, code review и документация.
• Инженерная аккуратность: не “примерно совпало”, а понятная сверка, методология, причины расхождений и владелец данных.
• Готовность разбираться в ClickHouse, 1С-данных, бизнес-терминах и ограничениях безопасности.
Будет сильным плюсом:
• dbt, Airflow, Kafka/Redpanda, Debezium/CDC, ClickHouse, data quality, data lineage, data catalog / semantic layer.
• RAG, Qdrant/Milvus/FAISS/pgvector, embeddings, reranking, поиск по документам и корпоративной базе знаний.
• LangGraph/LangChain, MCP, tool use/function calling, structured outputs, multi-model routing/fusion, LLM-gateway.
• Evals, Langfuse/LangSmith, OpenTelemetry/tracing, guardrails, prompt injection/data leakage/tool abuse threat model.
Кому эта роль подойдет:
• Тебе интересно сначала построить надежный “водопровод данных”, а затем подключать к нему ИИ-инструменты без магии и самовнушения.
• Ты хочешь развиваться на стыке Data Engineering, Python backend и AI engineering, но понимаешь, что ценность доказывается метриками и P&L, а не количеством агентов.
• Ты принимаешь неопределенность, но не терпишь хаоса в коде, данных, доступах и договоренностях.
Кому, скорее всего, не подойдет:
• Если хочется заниматься только LLM-промптами и агентами, но не хочется SQL, витрин, сверок, пайплайнов и документации.
• Если кажется нормальным подключиться к production 1С “на пять минут”. У нас это красная линия.
• Если хочется полной автономии агентов в критичных процессах без Human-in-the-Loop.
Хороший результат на испытательном сроке:
• Ты разобрался в архитектуре, источниках данных, ограничениях 1С, правилах доступа и текущем семантическом слое.
• Довел 1-2 пайплайна, витрины или сервиса до состояния: код, логи, проверки, документация, сверка с источником, понятный владелец.
• Показал, где нужен SQL/dbt, где Python-сервис, а где действительно уместен RAG/агент.
Что мы предлагаем:
- Заработная плата: до 350 000 рублей на руки
- Оформление по ТК, в штат ИТ- компании.
- График работы: 5/2 удаленка/гибрид
- Офис недалеко от «Молодёжной» с корпоративным автобусом от и до метро.
- Парковку возле офиса.
- ДМС после испытательного срока;
- Скидки для сотрудников на товары компании, доступ к системе скидок BestBenefits;
- Подарки для сотрудников и их детей к Новому Году, подарки и классные розыгрыши на день рождения Компании.
- Льготную столовую для сотрудников.
Направление работы:
Наша компания непрерывно развивается и создаёт новые продукты, используя современный стек и новейшие технологии.
Мы команда, которая работает с большими данными и строит передовые data-driven решения.
В команду платформы данных Финтех + нужен Data Engineer.
Стань частью команды!
Вам предстоит:
-
Участвовать в создании платформы данных в одном из самых быстро развивающихся подразделений Wildberries;
-
Писать ETL для обработки большого количества событий;
-
Участвовать в развитии модели данных;
-
Работать над разработкой прикладных сервисов;
-
Настраивать систему мониторинга различных сервисов
-
Создавать хранилище фичей для ML
Формат работы - гибридный или удаленный по договоренности с руководителем.
Вы нам подходите, если:
-
Уверенно владеете Python и SQL;
-
Есть опыт работы с Spark, Clickhouse, Hadoop, Kafka, Greenplum, S3 (Ceph, Minio);
-
Опыт написание DAG-ов для Airflow;
-
Опыт работы с Docker и K8S;
-
Навыки работы с Linux;
-
Навыки работы с Git.
Специалист по базам данных (ETL и миграции данных) / Data Engineer
В связи с созданием нового отдела и развитием направления, мы формируем команду с нуля.
Важно: На начальном этапе вам предстоит самостоятельно выстроить архитектуру хранения данных и процессы ETL. Проект уникален для компании, поэтому мы ищем специалиста, который не боится «зеленого поля», готов принимать самостоятельные решения и брать на себя ответственность за разработку ключевых узлов системы.
Чем предстоит заниматься:
-
Проектирование и развертывание БД: Спроектируете структуру локальной базы данных под хранение и индексацию массива данных до 1 500 000 файлов (объем до 2 ТБ и более) с учетом горизонтального расширения в будущем.
-
Разработка инструментов миграции: Напишете скрипты для автоматического сбора, парсинга, очистки и загрузки файлов из сетевых корпоративных папок в новую систему.
-
Интеграция с OCR: Настроите взаимодействие ядра БД со специализированным софтом для распознавания текста.
-
Организация поиска: Внедрите инструменты быстрого полнотекстового поиска, а также поиска по атрибутам (шифр, дата, автор, тип документа).
-
Подготовка витрин данных: Спроектируете и реализуете выгрузку структурированных данных в форматах, удобных для дальнейшего использования специалистами по искусственному интеллекту.
Мы ждем, что вы:
- Имеете высшее инженерное образование.
-
СУБД: Экспертный уровень работы с реляционными СУБД. Глубокое понимание оптимизации сложных запросов, индексации больших объемов текста и настройки производительности.
-
Опыт миграций: Наличие успешно реализованных проектов по обработке и переносу терабайтных массивов данных из "сырых" источников в структурированное хранилище.
-
Программирование: Уверенное владение языками программирования для написания высоконагруженных скриптов автоматизации и работы с файловой системой.
-
API: Опыт создания серверной части для передачи данных на фронтенд или в смежные сервисы.
-
Инфраструктура: Базовые навыки администрирования для развертывания и изоляции БД в закрытом контуре (без доступа в интернет).
Будет преимуществом:
-
Опыт интеграции с OCR-системами (Content AI, Abbyy FineReader Server и др.).
-
Практика работы с движками полнотекстового поиска.
-
Понимание специфики проектной документации (чертежи, спецификации, текстовые тома ГОСТ).
Что мы предлагаем:
- Срочный трудовой договор с возможностью дальнейшей пролонгации.
- Офисный характер работы.
- Стабильность и надежность: работа в социально-ответственной компании с акцентом на проектирование НПЗ.
- Официальное оформление по ТК РФ с первого рабочего дня.
- Конкурентная зарплата: уровень дохода обсуждается на собеседовании, основанный на ваших профессиональном опыте (оклад + премия).
- ДМС (включая стоматологию) после испытательного срока.
- Поддержка наших сотрудников: материальная помощь при значимых событиях (свадьба, рождение ребенка и др.).
- Поддержка здорового образа жизни: частичная компенсация абонементов в спортзалы и фитнес-залы.
- Спортивная активность: возможность участия в марафонах и других командных спортивных мероприятиях.
- Корпоративные мероприятия: конкурсы, квизы, настольные игры и выезды.
- Обучение и развитие: доступ к корпоративной электронной библиотеке и возможности для регулярного обучения
- График работы: 5/2, с пн.-чт. с 8:00 до 17:00, пт. с 8:00 до 16:00.
- Комфортный и современный офис в Нижнем Новгороде, Максима Горького, 117.
Мы ценим каждого кандидата и внимательно изучаем все резюме. Если ваше резюме будет отобрано, мы свяжемся с вами для личной встречи.
Присоединяйтесь к команде профессионалов!
Ищем коллегу на позицию Data Engineer. Если ты ищешь сильную команду, интересные проекты и профессиональный рост - будем рады познакомиться!
📍 Локация: Беларусь
🇬🇧 Уверенный разговорный английский язык на уровне от В2 и выше
💡 Основные требования:
✅ Практический опыт работы с современными технологиями в области баз данных и хранилищ, таких как:
- SQL (PostgreSQL, MySQL, Oracle, Microsoft SQL Server или др.)
- NoSQL (MongoDB, Cassandra, DynamoDB, Redis или др.)
- Data Modeling: Dimensional Modeling (моделирование по измерениям), Star/Snowflake Schema (схемы «звезда»/«снежинка»)
✅ Базовое понимание архитектуры данных и оптимизации производительности систем обработки данных
✅ Свободное владение языками программирования и написания скриптов, такими как Python, Scala или Java
✅ Теоретические знания практик CI/CD (непрерывная интеграция/непрерывное развертывание) для конвейеров данных (например, Git, Jenkins, Terraform)
✅ Подтвержденный опыт создания надежных, эффективных и автоматизированных рабочих процессов с данными
💪 Преимуществом будут:
- Знакомство с инструментами контейнеризации и оркестрации (например, Docker, Kubernetes)
- Опыт работы в fintech, ecommerce, manufacturing или healthcare
- Опыт работы с крупномасштабными архитектурами данных и фреймворками для обработки больших данных (Apache Spark или любой другой)
- Знание современных AI инструментов и опыт их использования в работе
👨🏻💻 Основные обязанности:
- Разработка и оптимизация конвейеров данных для сбора, обработки и анализа данных в больших объемах
- Работа в составе команды заказчика на иностранных проектах (преимущественно EMEA)
- Сотрудничество с архитекторами данных, аналитиками и бизнес-командами для принятия эффективных решений на основе данных
- Создание и управление решениями для хранения данных, включая реляционные базы данных и NoSQL-системы
- Обеспечение качества и согласованности данных в соответствии с передовым опытом и стандартами
- Устранение проблем с данными, оптимизация производительности и автоматизация рабочих процессов
📩 Форма для отправки CV находится здесь
Кто сказал, что нужен опыт? Мы ценим твой потенциал!
Мы — российская аккредитованная ИТ-компания, обладатель премии «Работодатель года» по версии Habr. C 2007 года разрабатываем цифровые решения для b2b-клиентов.
Мы работаем с топовыми российскими и иностранными компаниями и знаем, какие специалисты востребованы на рынке. Наша принципиальная позиция - самостоятельная подготовка специалистов в штат, с чем мы прекрасно справляемся, благодаря собственной программе обучения.
Ежегодно мы обучаем 900+ человек, лучшие стажеры после обучения получают первую работу в IT. 75% стажеров с первого раза проходят интервью на проекты.
Поэтому приглашаем вас на обучение Дата инженер с последующим трудоустройством.
Из чего состоит программа обучения?
-
онлайн-интенсив 1 месяц;
-
вы изучаете теорию и отрабатываете ее с помощью практических заданий;
-
обучение на онлайн-интенсиве можно совмещать с работой.
Требования к кандидатам:
- законченное высшее или среднее специальное профильное образование;
- готовность пройти стажировку в компании ASTON.
После успешного окончания онлайн-интенсива обучающийся автоматически зачисляется на стажировку в Лабораторию ASTON.
Условия стажировки:
- обучение 3-4 месяца 5 дней в неделю с 9:00 до 18:00 с перерывом на обед;
- изучение теории с еженедельными проверками изученного материала;
- практика на учебных проектах под руководством опытного технического руководителя;
- подготовка к собеседованию и самопрезентации;
- для кандидатов обязательно посещение офиса;
-
после старта на коммерческом проекте формат работы: гибридный в офисе ASTON до момента перехода на уровень М2 (3 дня/2 дня удаленно) / полное посещение офиса заказчика;
-
после старта на коммерческом проекте желательна готовность к командировке в Санкт-Петербург или Москву.
Что мы предлагаем?
- платим стипендию;
- официально устраиваем на работу;
- первая заработная плата от 85 000 ₽ до вычета НДФЛ;
- даем доступ к корпоративной программе обучения;
- после выхода на проект регулярно пересматриваем и повышаем зарплату;
- обеспечиваем классические IT-плюшки: офис в центре города, корпоративные ивенты, частичная компенсация стоимости спортивных абонементов.
Приходи в ASTON и расти вместе с нами!
Senior Data Engineer (Databricks & AWS)
#SeniorDataEngineer #DataEngineer #Senior #Польша
Требования:
Data Engineering (4+ года). Databricks и Apache Spark / PySpark. AWS (S3, IAM, KMS, VPC). Advanced SQL и миграции баз данных. Проектов по крупной миграции данных. Английский: B2+/C1. Будет плюсом: Сертификации Databricks / AWS. Опыт Unity Catalog и Data Governance. Старт: ASAP.
Локация:📍Польша.
Контакт для отклика: @veronika_pi
Старший бэкенд-инженер (Big Data) / Инженер по инфраструктуре Big Data
🏢 Компания: Binance
💰 ЗП: Конкурентная зарплата
🌍 Формат: Удалёнка
О компании:
Binance — ведущая мировая блокчейн-экосистема и крупнейшая в мире криптовалютная биржа по объёму торгов и числу зарегистрированных пользователей.
Задачи:
• Проектировать, разрабатывать и поддерживать корпоративные платформы инфраструктуры больших данных, аналогичные AWS EMR.
• Улучшать распределённые вычислительные фреймворки: Hadoop, Spark, YARN, HDFS.
• Интегрировать движки big data с Kubernetes и продвигать cloud‑native трансформацию.
• Оптимизировать производительность кластеров, использование ресурсов и пропускную способность рабочих нагрузок.
• Повышать стабильность, надёжность и наблюдаемость платформы в масштабных продакшен-средах.
• Идентифицировать и устранять сложные узкие места производительности в распределённых системах.
Требования:
• Степень бакалавра в Computer Science, Software Engineering или смежной области.
• Опыт разработки распределённых систем и инфраструктуры big data.
• Практический опыт с Hadoop, Spark, HDFS, YARN, Hive, Flink или Presto.
• Опыт построения/эксплуатации платформ вроде AWS EMR, Databricks Runtime или Google Dataproc.
• Опыт с Kubernetes и cloud‑native развёртыванием распределённых вычислительных движков.
• Владение Java, Scala, Go или C++.
Будет плюсом:
• Участие/коммиттерство в сообществах Apache Hadoop, Spark или Flink.
• Опыт эксплуатации кластеров масштаба 1000+ узлов.
• Опыт проектирования контейнеризованных вычислительных платформ.
• Знакомство с современными инструментами наблюдаемости и отладки распределённых систем.
Стек:
Hadoop, Spark, HDFS, YARN, Hive, Flink, Presto, Kubernetes, AWS EMR, Databricks Runtime, Google Dataproc, Java, Scala, Go, C++, observability
Условия:
• Удалённая работа
• Работа в плоской структуре с мировыми специалистами
• Возможности карьерного роста и обучения
• Конкурентная зарплата и соцпакет
ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Ждем именно тебя!
Мы ищем Data engineer в команду развития специализированных витрин данных.
Обязанности
Чем предстоит заниматься:
- разрабатывать и поддерживать витрины данных в облачной экосистеме
- проектировать и улучшать архитектуру системы
- разрабатывать и оптимизировать пайплайны обработки данных/ETL на Python / Scala, а также помогать другим командам
- внедрять контроль качества данных (SODA).
Требования
- высшее образование
- опыт в аналогичной роли от 3 лет
- понимание принципов модели распределенных вычислений
- опыт в поиске, обработке и построении витрин данных при помощи Spark и SQL
- опыт промышленной разработки на стеке Scala/Java/Python
- знание и опыт использования инструментов по обработке больших данных (Spark, Trino, Polars и др.)
- опыт работы со стримингом (Flink, Spark Streaming, Kafka и др.)
- хорошие знания SQL, опыт работы с одной из реляционной БД - Oracle/PostgreSQL/mySQL/MS SQL Server
- опыт работы с S3, HDFS
- знание любого оркестратора (AirFlow/Oozie/Dagster/Argo Workflows)
- понимание подходов к организации разработки (CI/CD, DevOps).
Будет плюсом:
- опыт работы с Iceberg
- опыт работы с DataHub/OpenMetaData
- опыт работы с SODA/GreateExpectation
- опыт работы с ClickHouse
- опыт работы с Kubernetes
- навыки работы с генеративными AI-моделями
- опыт создания AI-агентов и использования их в работе будет преимуществом -опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
- инструментальное владение AI для анализа, генерации и автоматизации.
Условия
- офис рядом с метро Маяковская
- гибридный формат работы
- годовой бонус и ежегодный пересмотр
- расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
- корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
- 90 дней удаленной работы из любого региона РФ
- льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.
#9336
ETL-разработчик — Middle+/Senior
Локация: РФ
Требуется ETL-разработчик с опытом использования ИИ инструментов.
Писать @ivanGr
Канал Аутстаф запросов @outstaff_requests_phpdev
Data Engineer (ML‑пайплайны и расчёт признаков) в команду платформы данных
Мы — команда платформы данных в направлении Trust & Safety. Делаем данные и признаки для моделей машинного обучения, которые используются в антифроде, модерации контента и других продуктах. У нас есть как потоковая платформа (Databus/Kafka + Flink + Redis/Cassandra), так и “озеро” данных на S3/Apache Iceberg с доступом через Trino.
Мы ищем дата-инженера, который обеспечит расчёт и поставку признаков для ML-моделей — от чтения сырых событий до записи финальных значений в онлайн- и офлайн-хранилища.
Стек: Databus(Redpanda)/Kafka, Apache Flink, Redis, Cassandra, S3, Apache Iceberg, Trino, ClickHouse, Airflow, Python, dbt.
Вам предстоит:
- Проектировать и разрабатывать потоковые процессы, которые читают события из Databus/Kafka и считают онлайн‑признаки, записывая их в Redis и Cassandra.
- Проектировать и разрабатывать пакетные процессы, которые читают данные из S3/Iceberg через Trino, считают офлайн‑признаки и пишут результаты обратно в S3/Iceberg и/или ClickHouse.
- Следить за тем, чтобы один и тот же признак был согласован между обучением и продакшеном (одна логика расчёта, единый контракт).
- Настраивать расписания, пересчёты и бэки, чтобы признаки обновлялись вовремя и выдерживали SLA по свежести.
- Работать с качеством данных: добавлять проверки, мониторить аномалии, разбирать инциденты, когда “признак поехал”.
- Совместно с DS и аналитиками придумывать новые признаки и помогать перевести их из экспериментальных скриптов в стабильные пайплайны.
Вы нам подходите, если:
- У Вас 4–5+ лет опыта в роли Data Engineer / Backend+Data;
- Имеете уверенный опыт работы с Kafka‑подобными очередями (Databus/Kafka): продюсеры/консьюмеры, партиционирование, ключи, обработка ошибок;
- Имеете практический опыт со streaming‑движком (желательно Flink; Spark Structured Streaming подойдёт, если есть реальный прод‑опыт);
- Опытны в работе с Redis или Cassandra как онлайновым хранилищем данных/признаков;
- Работали с S3‑подобным хранилищем и табличным форматом (Iceberg/Delta/Hudi) и доступа к ним через SQL‑движок (Trino/Presto/Spark SQL);
- Отлично знаете SQL и имеете опыт работы с ClickHouse;
- Python на уровне уверенной разработки data‑скриптов и сервисной логики;
- Имеете опыт настройки и сопровождения пайплайнов в Airflow;
- Понимаете задачи ML‑пайплайнов: train/serve skew, пересчёты признаков, влияние задержек и потерь событий.
#9351
Senior DWH Аналитик
Локация: Москва (удаленно по МСК)
Требования:
- Написание сложных SQL-запросов
- Проектирование витрин данных (Data Vault 2.0)
- Разбор инцидентов качества данных
- Формализация требований заказчиков
- Опыт работы с внедрением ПВР (Подход Внутренних Рейтингов)
Писать @ivanGr
Канал Аутстаф запросов @outstaff_requests_phpdev
ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ
Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения.
Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу.
Что нужно делать:
- Взаимодействие с командой и заказчиком по уточнению требований.
- Анализ чужого и написание своего кода на SQL, Python, Spark
- Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.
- Тестирование и отладка кода, обеспечение качества данных.
- Документирование (Confluence)
Что мы хотели бы видеть:
Must have:
- Глубокие знания SQL.
- Spark (в том числе оптимизаци), Python
- Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.
- Знание архитектуры хранилищ
- Умение работать в команде и следовать процессам заказчика.
Желательно:
- Iceberg
- Kafka
- Scrum
- Знание экономики, финансов, банковской сферы.
Условия:
- Достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе;
- Работа в команде профессионалов готовых делиться экспертизой;
- Официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный пакет:
- Страховка ДМС (с 3-го месяца работы, стоматология, возможность подключения родственников, теле медицина, полис ВЗР),
- Компенсация затрат на фитнес и занятия английским языком;
- Обеспечиваем техникой для работы (ноутбук, наушники, мышь),
- Профессиональное развитие - в Учебном Центре (курсы по работе с большими данными, видео лекции, тренажеры, карьерный коучинг, лекции, тренинги, конференции, участие в митапах);
- Возможность пройти проф.сертификацию;
- Прозрачную систему карьерного развития Performance Review;
- Персонального наставника с первого дня работы;
- Насыщенную корпоративную жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия, мотивационные награждения;
- Комфортную атмосферу в филиалах компании в городах: Москва, Санкт-Петербург, Нижний Новгород, Пенза, Воронеж, Саратов, Самара, Краснодар где есть лаунж и фотозоны, вендинги в кухнях, пространство для медитаций и другие секретные места, о которых знают только наши сотрудники.
МТС Банк – одно из ключевых направлений экосистемы МТС.
Мы используем современные цифровые решения и развиваем технологичные банковские сервисы, доступные каждому.
Наши команды совершенствуют финтех-продукты для В2В и В2С. Создают сайты на TypeScript + React + Next.js с SSR. И реализуют проекты в Kubernetes-среде, чтобы обеспечивать надёжность для миллионов клиентов МТС Банка.
Наш стек:
- Oracle PL/SQL
- Oracle Developer Data Modeler
- Informatica
- Golden Gate, Memory
- MS PowerBI, MS Analysis Service - для аналитики
- Jira,Confluence
Что для нас важно:
- опыт разработки oracle Pl\SQL
- опыт работы в подразделениях отчетности и DWH
- понимание процессов банковской отрасли (желательно)
- умение работать с бизнес-заказчиком напрямую
- интерес в получении опыта с проектами по внедрению, развитию хранилища или разработке финансовой отчётности в банках
Ты будешь:
- заниматься разработкой и анализом процедур загрузки данных в хранилище банка из систем источников
- разрабатывать витрины данных и отчетности по данным хранилища данных
- оптимизировать работу хранилища данных и аналитической отчетности
- взаимодействовать с ИТ и бизнес-подразделениями банка для решения задач по развитию хранилища данных
- выявлять и исправлять ошибки загрузки и формирования отчетности на базе хранилища данных
Ищем Senior Database Engineer для крупной международной финтех-компании на Кипре. Релокация обязательна!
Команда сопровождает сотни production database clusters на базе ClickHouse и PostgreSQL и других распределённых data systems, которые поддерживают критически важные global workloads. Основной фокус роли — production database infrastructure, высокая доступность, производительность, автоматизация и развитие внутренних platform solutions.
Для этой роли особенно важен опыт работы с on-prem / self-hosted database infrastructure.
- Проектировать и развивать распределённые архитектуры баз данных для высокой доступности и масштабируемости.
- Работать с рабочими базами данных, включая ClickHouse и PostgreSQL.
- Настраивать и развивать репликацию, механизмы переключения при сбоях и модели согласованности данных.
- Обеспечивать надёжность баз данных в рабочих окружениях.
- Участвовать в разборе инцидентов и поиске первопричин проблем, связанных с базами данных.
- Самостоятельно выявлять и устранять сложные проблемы производительности и надёжности баз данных.
- Анализировать и оптимизировать сложные запросы и нагрузки на базы данных.
- Проектировать стратегии индексирования и модели данных для высоконагруженных систем.
- Искать и устранять системные узкие места в производительности.
- Проектировать и внедрять автоматизацию операций с базами данных: резервное копирование, переключение при сбоях, масштабирование.
- Улучшать подходы к описанию инфраструктуры как кода и процессы развёртывания баз данных.
- Снижать объём ручной операционной работы за счёт автоматизации.
- Планировать мощности для растущих объёмов данных и нагрузок.
- Оптимизировать использование хранилищ, вычислительных ресурсов и производительности.
- Поддерживать крупные системы обработки данных.
- Определять и соблюдать стандарты безопасности баз данных: роли, права доступа, аудит.
- Взаимодействовать с разработчиками, инженерами надёжности и инфраструктурными командами.
- Давать рекомендации по использованию баз данных, производительности и лучшим практикам.
- Наставлять младших и middle-инженеров баз данных.
- Участвовать в проверке изменений в базах данных и операционных процессах.
- 4–7+ лет опыта в инженерии баз данных или администрировании баз данных.
- Глубокая экспертиза в PostgreSQL и ClickHouse.
- Опыт работы с высоконагруженными и распределёнными системами.
- Опыт с HA/DR strategies и database clustering.
- Сильные навыки настройки производительности и оптимизации запросов.
- Понимание основ баз данных: consistency, isolation, scaling.
- Опыт с инструментами мониторинга и observability: Prometheus, Grafana или аналогами.
- Опыт автоматизации: scripts, IaC, CI/CD pipelines.
- Опыт работы с production системами и высокий уровень ответственности за результат.
- Умение самостоятельно решать сложные технические задачи.
- Системное мышление и проактивный подход.
- Умение выстраивать коммуникацию с командами и заинтересованными сторонами.
- Уровень владения Английским языком от В2 и выше (Upper-Intermediate+)
- Опыт с large-scale data processing systems.
- Опыт работы в high-load production environments.
- Работу в международной fintech-компани.
- Участие в развитии крупной production database и data platform infrastructure.
- Сложные инженерные задачи на стыке database engineering, platform engineering и reliability.
- Сильную senior-команду database и platform engineers.
- Полную релокационную поддержку для кандидата и семьи.
#Hiring
#Tashkent
#Uzbekistan
#ITJobs
#TechJobs
#OpenToWork
#JavaJobs
#DataJobs
#DevOps
#FrontendDeveloper
#QAEngineer
🚀 CORE TECHNOLOGY расширяет команду и приглашает специалистов в офис в Ташкенте!
Открытые вакансии:
🔹 DevOps Engineer
🔹 Frontend Developer (Middle)
🔹 Head of Data / CDO
🔹 Java Developer (Middle+)
🔹 Junior Data Engineer
🔹 Junior Data Analyst / Младший аналитик данных
🔹 Data Engineer
🔹 QA Engineer (Senior)
📍 Локация: Ташкент, Узбекистан
❗️ Обязательные требования для всех позиций:
• Работа в офисе (удаленный формат не рассматривается);
• Нахождение на территории Ташкента;
• Обязательное владение русским языком.
Если вы хотите стать частью команды CORE TECHNOLOGY, будем рады познакомиться!
📩 Отправляйте резюме в Telegram:
📞 +998 99 030 29 98
🕐 Удобное время для звонков:
Понедельник – Пятница
10:00–17:00
Будем благодарны за репосты и рекомендации! 🤝
#CoreTechnology
#HiringNow
#ITJobsUzbekistan
#TashkentJobs
#DataEngineer
#JavaDeveloper
#DevOpsEngineer
#QAEngineer
#FrontendDeveloper
#CDO
#DataAnalyst
Создание аналитической платформы для управления эффективностью организации. Решение позволит формировать стратегию, ставить цели.
Множество сервисов, большое количество данных (терабайты). ClickHouse является ядровой БД для продукта.
Вакансия находится на стыке SRE и инженерии данных. Необходимо выполнять как сопровождение линейки стендов БД, так и задачи развития DWH.
Задачи:
- обеспечение отказоустойчивости ClickHouse на всех стендах
- развитие функционала БД, консультации сервисов по работе с ClickHouse
- внедрение решений по observability, мониторингу и алертингу
- оптимизация производительности БД
- сопровождение всей линейки стендов
- интеграция инструментов/БД между собой (пример — Greenplum + ClickHouse)
- участие в рефакторинге DWH
- участие в развитии AI Product Development Lifecycle
Мы ожидаем:
- опыт работы с ClickHouse от 3х лет
- опыт работы с большими данными (терабайты)
- базовое понимание командной строки Linux
- опыт обеспечения отказоустойчивости БД (репликация, шардирование, HA-кластеры)
- опыт оптимизации производительности SQL-запросов и БД
- понимание принципов построения DWH
Будет плюсом:
- опыт работы с Greenplum
- опыт работы с Kafka, Hadoop
- понимание принципов ETL, работы инструментов оркестрации
- опыт настройки observability/мониторинга (Prometheus, Grafana и аналоги)
- опыт автоматизации инфраструктуры (Ansible, Terraform)
Мы предлагаем:
- формат работы офис, гибрид
- стабильный оклад+ годовое премирование и социальная поддержка сотрудников
- расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- корпоративная пенсионная программа
- корпоративное обучение за счет компании, в т.ч. посещать конференции по профессиональной тематике, а так же огромный каталог образовательных программ
- реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 100 тыс. рублей
- корпоративный спортзал и скидки в спортзалы-партнеры
- работу по Agile с лучшими из IT индустрии: 2000 продуктовых команд и возможность внутреннего перемещения
- яркая и насыщенная корпоративная жизнь: «Зелёный марафон», Сбербанкиада, КВН, волонтёрские программы и т.д.
Похожие специальности
Хотите персональную подборку?
Введите свои критерии — мы отфильтруем вакансии по вашим требованиям
Найти подходящие вакансии →