Вакансии Data Engineer и инженера данных
Построение потоков данных, хранилищ и ETL/ELT-пайплайнов. Анализ данных и моделирование представлены в соседних разделах. Обновляется каждый час. Найдено: 105 вакансий за последнюю неделю.
- Вакансий за неделю:
- 105
- Медиана:
- 300 000 ₽
- Вилка:
- 200 000 ₽ — 395 000 ₽
Зарплаты — по 109 вакансиям с указанной вилкой за 30 дней
Поиск вакансий
HireSeeker — агрегатор вакансий. Собираем вакансии со всех основных площадок и показываем по вашей специальности. Подпишитесь на ежедневную подборку только релевантных.
Ищем сильного Data Engineer уровня Middle+/Senior, который умеет самостоятельно проектировать и развивать процессы обработки данных.
Задачи
- Ведение хранилища данных - архитектура слоев, модель данных, паттерны разработки ХД и подключение новых источников
- Построение истории изменения данных (SCD2) и сквозного ключа клиента между источниками
- Разработка, поддержка и оптимизация ETL/ELT-процессов.
- Ведение хранилища данных - архитектура слоев, модель данных, паттерны разработки ХД и подключение новых источников
- Построение и развитие пайплайнов сбора, обработки и загрузки данных.
- Интеграция данных из различных источников: API, реляционные БД, Kafka, внешние сервисы.
- Участие в проектировании и развитии хранилищ данных (DWH, Data Lake, Data Lakehouse).
- Разработка и оптимизация процессов пакетной и потоковой обработки данных.
- Обеспечение качества, целостности, актуальности и согласованности данных.
- Оптимизация SQL-запросов и производительности обработки больших объемов данных.
- Настройка мониторинга, логирования и обработки ошибок в пайплайнах данных.
- Резервное копирование и регулярные проверки восстановления хранилища.
- Подготовка и предоставление данных для аналитики, отчетности и подготовка признаков для ML-моделей.
- Постановка задач, приемка работ и взаимодействие с подрядчиками
- Документирование данных
- Опыт работы на позиции Data Engineer от 4 лет.
- Опыт построения хранилища или его рефакторинга, от источника до витрины, на ведущих ролях
- Уверенное владение SQL и Python.
- Практический опыт работы с PostgreSQL и ClickHouse. Глубокое знание PostgreSQL-индексы, патиционирование, репликация, планы запросов, резервное копирование и восстановление и т.п.
- Моделирование данных с историей изменений, бизнес-ключи
- Опыт применения автоматических проверок качества данных
- Опыт разработки ETL/ELT-процессов с использованием Apache Airflow или аналогичных инструментов.
- Понимание принципов проектирования DWH, Data Lakehouse и моделирования данных.
- Понимание различий между OLTP и OLAP-системами.
- Опыт работы с большими объемами данных и оптимизации SQL-запросов.
- Понимание принципов инкрементальной загрузки данных и CDC.
- Опыт работы с Git.
- Понимание принципов мониторинга, отказоустойчивости и восстановления процессов обработки данных.
- Самостоятельность, системное мышление и ответственность за результат. Умение объяснять технические вещи простым языком.
- Опыт работы с Apache Kafka и потоковой обработкой данных.
- dbt или аналогичный инструмент трансформаций
- Практический опыт построения или развития Data Lakehouse.
- Знакомство с ML-пайплайнами и MLOps.
- Опыт работы с финансовыми данными, скоринговыми системами или кредитными продуктами.
- Опыт работы с данными BPM-систем
- Опыт подготовки данных для регуляторной отчетности
- Опыт интеграции данных в микросервисной архитектуре.
- Ответственность за архитектуру данных и самостоятельное принятие технических решений по ней
- Перспектива роста до руководителя Data направления компании
- Работа в финтех-компании с действующими продуктами и реальными объемами данных.
- Участие в развитии платформы данных и построении современных решений для аналитики.
- Возможность влиять на архитектуру и развитие Data-направления.
- Офисный формат работы, Алматы.
- Конкурентная заработная плата по результатам собеседования.
- Компенсация профильных курсов и профессионального обучения.
- Бесплатные курсы английского языка.
- Медицинское страхование за счёт компании с установленным лимитом покрытия
Обязанности
- Анализировать пакеты ODI, извлекать метаданные, фиксировать бизнес-логику. Реверс-инжиниринг ODI сценариев
- Проектировать и реализовывать миграцию. Переводить ETL-логику из ODI в DAG`и Apache AirFlow
- Разрабатывать ETL/ELT-пайплайны
- Обеспечивать качество данных (DQ-проверки), настраивать алерты, дашборды мониторинга
- Управлять артефактами, CI/CD. Настраивать пайплайны деплоя DAG-ов, версионирование кода (Git), листинг, тестирование (unit/integration), управлять зависимостями (включая whl-пакеты для PySpark-компонентов)
- Документировать и передавать знания
Требования
- Образование – высшее техническое, математическое или экономическое
- Опыт работы от 3 лет в роли дата-инженера
- Практический опыт миграции или глубокой поддержки ETL-решений (ODI, Informatica, SSIS и т.п.) – понимание структуры пакетов, переменных, маппингов, планировщиков
- Уверенные знания и опыт практического применения:
- Apache Airflow – архитектура, DAG-дизайн, операторы, хуки, сенсоры, обработка ошибок, backfill, переменные/конфиги
- Python для написания DAG-ов и кастомной логики
- SQL – сложные запросы, оптимизация кода
- PySpark для пакетной обработки данных
- Git, базовые навыки CI/CD, понимание версионирования и тестирования кода
- Работа с контейнеризацией (Docker) и деплоем DAG-ов в контейнерной среде
- Навыки формирования Python-пакетов для переносимости Spark-логики
- Знание dbt, инструментов моделирования данных и подходов к слоям DWH
- Опыт настройки мониторинга (Prometheus/Grafana, AirFlow UI)
#senior #гибрид
••••••••
Аналитик DWH (Senior)
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: гибрид (Москва)
☑️ Чем предстоит заниматься
-Проектирование и внедрение интеграций данных в DWH (через API, файлы, базы данных, ERP и другие источники)
-Подключение и описание новых источников данных: от анализа до передачи готовых требований разработчикам
-Разработка и оптимизация аналитических кубов и витрин данных
-Подготовка и согласование технических заданий (ТЗ) для ETL, интеграций и BI-отчетности
-Разработка SQL-запросов и участие в проектировании структуры хранилища
-Взаимодействие с бизнес-заказчиками: приоритизация задач, оценка трудозатрат и бизнес-эффекта
-Анализ и предложение улучшений в архитектуре и функционале DWH
-Участие в создании BI-отчетности, визуализаций и аналитических моделей
☑️ Наши пожелания к кандидатам
-Отличное знание SQL (MS SQL / PostgreSQL) — уверенное владение сложными запросами, оптимизация, понимание структур данных
-Опыт работы аналитиком DWH / системным аналитиком по данным от 2 лет
-Глубокое понимание принципов интеграций через API (REST, JSON, авторизация, схемы данных)
-Опыт подключения и документирования источников данных
-Навыки написания технических заданий и постановки задач разработчикам DWH
-Умение оценивать бизнес-ценность задач и определять приоритеты
-Будет плюсом:
-Работа с ERP-системой : анализ данных, формирование требований к выгрузкам и интеграциям
-Опыт работы с BI-системами (Power BI, Qlik, Tableau и др.)
-Навыки Python (для анализа данных, API-интеграций или автоматизаций)
-Опыт работы с моделями машинного обучения / AI (например, анализ клиентских данных или прогнозирование)
-Опыт проектирования архитектуры DWH или участия в рефакторинге
Контакты: ••••••••
🔥 •••••••• / •••••••• / ••••••••
Мы, VADAROD – IT компания, которая специализируется на разработке и сопровождении программных продуктов в финтех домене.
Для участия в проекте по построению корпоративного хранилища данных мы ищем Data Engineer.
Задачи:
-
создание слоя транформации сырых данных;
-
участие в развитии КХД в части разработки концептуальной, логической и физической модели данных;
-
участие в разработке архитектуры решения;
-
участие в code review.
Мы ожидаем:
-
знание SQL;
- знание Python;
- опыт написания и отладки сложных SQL-запросов;
- практические навыки по проектированию схемы базы данных, опыт работы с ER-диаграммами.
Будет плюсом:
-
опыт работы в финтех домене или понимание бизнес-процессов в финансовых организациях;
-
опыт работы с аналитическими (оконными) функциями;
-
опыт работы с Apache Airflow, Debezium.
Мы предлагаем:
- комфортный, современный офис в центре города;
- гибкое начало рабочего дня;
- медицинская страховка с включенной стоматологией;
- курсы английского языка;
- возможность внешнего и внутреннего обучения, участие в семинарах и конференциях;
- отпуск 29 дней и выплата к отпуску;
- обеспечиваем необходимой техникой для комфортной работы.
Откликайся! Мы ждем твое резюме)
*вакансия открыта в связи с перспективой потребности в работнике.
Цель: Обеспечение стабильной, автоматизированной и масштабируемой инфраструктуры обработки данных для задач маркетинговой аналитики банка. Развитие процессов сбора и интеграции данных из внутренних и внешних источников, построение и оптимизация аналитических витрин, автоматизация регулярных расчётов и обновления BI-отчётности. Повышение качества, доступности и своевременности данных, сокращение ручных операций и снижение операционных рисков при подготовке аналитической информации для принятия бизнес-решений.
Чем предстоит заниматься:
- Разработка ETL/ELT-процессов. Разработка, оптимизация и сопровождение процессов загрузки, преобразования и обработки данных с использованием SQL, Python, Apache Spark и других инструментов.
- Развитие DWH и аналитических витрин. Проектирование, создание и поддержка аналитических моделей и витрин данных в Hadoop (Spark, Iceberg), Greenplum и ClickHouse; оптимизация хранения, обработки и выполнения запросов.
- Интеграция внутренних и внешних источников данных. Организация загрузки данных из внутренних систем банка и внешних платформ, включая AppMetrica, Яндекс Метрику, Яндекс Директ и другие источники, посредством API, SFTP и иных согласованных способов обмена данными.
- Автоматизация и оркестрация. Разработка и сопровождение процессов в Apache Airflow, управление расписаниями, зависимостями, повторными запусками и обработкой ошибок; перевод ручных расчётов в автоматизированные процессы.
- Автоматизация BI-отчётности. Обеспечение регулярного обновления источников данных, датасетов и аналитических дашбордов FineBI, контроль своевременности и корректности обновления информации.
- Контроль качества данных. Разработка и внедрение автоматизированных проверок полноты, корректности, уникальности и актуальности данных; выявление и устранение причин расхождений и ошибок.
- Мониторинг и сопровождение. Контроль работоспособности пайплайнов, диагностика и устранение сбоев, настройка логирования, уведомлений и механизмов восстановления процессов.
- Взаимодействие со смежными подразделениями. Совместная работа с аналитиками, владельцами информационных систем, инфраструктурными подразделениями и командами УИБ/ИБ по вопросам доступов, интеграций, согласования технических решений и выполнения требований информационной безопасности.
- Развитие инженерных практик. Использование Git/Bitbucket, участие в Code Review, документирование решений, соблюдение стандартов разработки и участие в развитии процессов тестирования и поставки кода.
- Техническая проработка задач. Участие в анализе требований, оценке трудоёмкости и декомпозиции задач совместно с аналитиками; выбор и реализация технических решений в рамках архитектуры и стандартов банка.
Что мы ожидаем от кандидата:
- Уверенное владение SQL.
- Уверенное владение Python для разработки процессов обработки данных, интеграций и автоматизации.
- Практический опыт разработки и сопровождения ETL/ELT-процессов, включая инкрементальную загрузку, повторные запуски и обработку ошибок.
- Опыт работы с Apache Spark (PySpark и/или Spark SQL), понимание принципов распределённой обработки больших объёмов данных.
- Опыт работы с Apache Airflow или аналогичными инструментами оркестрации процессов.
- Опыт работы с DWH и аналитическими базами данных, понимание архитектуры хранилищ и принципов построения аналитических витрин.
- Понимание подходов к обеспечению качества данных, мониторингу и диагностике процессов обработки данных.
- Опыт использования Git и инструментов совместной разработки.
- Понимание принципов интеграции информационных систем, работы с API и основных способов передачи данных.
- Умение работать с техническими требованиями, самостоятельно реализовывать согласованные решения и взаимодействовать с аналитиками и смежными IT-командами.
Вакансия Data Engineer
Компания - ••••••••.
Ищем сильных middle / midle+ data engineer
Формат: Москва офис (Кутузовский пр., д. 32)
Вилка до 430к net
Обязанности:
- Разработка пайплайнов и потоков для обработки данных;
- Сборка витрин данных;
- Написание и подготовка сложных скриптов к выведению в пром;
- Обследование и профилирование банковских источников данных, исследование моделей данных источников;
- Участие в создании сложных агентных систем (подготовка данных и т.д.);
- Участие во встречах со своей и смежными командами. Обсуждение и предложение способов реализации текущих проектов.
Требования:
- Опыт и сильные навыки программирования на python (в т.ч. ООП);
- Хорошие знания SQL (оконные функции, сложные запросы, оптимизация запросов);
- Знание инструментов экосистемы Hadoop: Hive, Spark и др;
- Понимание концепций проектирования хранилищ данных;
- Софт скиллы.
Условия и соц. пакет:
- Стандартный набор (ДМС и т.д.) + гибкие условие труда и рабочего дня.
- Свой спорт зал в офисе и различные корп. программы.
- Заботимся о развитии сотрудников. Возможность профессионального роста, возможность карьерного роста по уровню позиции и в ЗП.
- Формат работы - офис в Мск (Кутузовский пр., д. 32).
Контакт для связи и резюме ••••••••
#вакансия #DataEngineer #Москва #МО #DWH #гибрид
Компания: ••••••••
Вакансия: Data Engineer
Вилка: от 200 до 250к гросс ИП/ГПХ
Локоция: Москва/МО (гибрид)
Требования:
Опыт от 3 лет + финтех
Знание SQL на хорошем уровне - подзапросы, оконные функции, процедуры в БД. Написание функций, оптимизация запросов. Опыт работы с MPP хранилищем. (SQL от 3х лет)
Понимание сроков и производственного процесса в ИТ, самостоятельно планировать свою работу и анализировать зависимости. Опыт работы с релизным процессом: ci/cd, Jenkins, GIT.
Знание Python на базовом уровне.
Знания банковских продуктов для юридических лиц.
По всем вопросам пишите в лс 🌸 ••••••••
GTS использует данные для продаж, закупок и планирования ассортимента спортивной одежды. Ищем инженера в пару к специалисту, который развивает аналитическую базу. Вы сможете вести процессы целиком, от загрузки до цифры в отчёте. График и вознаграждение обсудим на встрече.
Что предстоит делать
• Сопровождать загрузчики на Python, трансформации dbt в PostgreSQL и задания Dagster. Разбирать пропуски и дубли, проверять повторную загрузку за нужные даты.
• Готовить данные для первой версии отчётности в Metabase. Добавлять проверки полноты и свежести данных, настраивать оповещения и выбирать, какие события передавать ИИ-агенту.
• Сопровождать сервисы на Linux в Docker Compose. Настраивать доступ по HTTPS через обратный прокси и проверять в тестовой среде восстановление базы и конфигураций из ежедневных резервных копий.
• Описывать зависимости и порядок восстановления вместе с коллегой. Проверять инструкции на практике, чтобы каждый мог самостоятельно подменить другого.
Первый участок в работе Вместе выберете одну критичную загрузку. Вы проследите путь данных до отчёта, настроите оповещение и самостоятельно проведёте контрольный перезапуск. Затем по вашей инструкции коллега проверит, что итоговые суммы сходятся.
Какой опыт пригодится
- Вы сопровождали рабочие загрузки данных,
- Вы уверенно пишете на Python и SQL,
- Вы знаете PostgreSQL, Linux и Docker.
- Подойдёт опыт Dagster или другого оркестратора.
- Практика работы с dbt и Metabase пригодится с первых задач.
В отклике Опишите сбой, который вы сами расследовали. Как заметили проблему, восстановили данные без дублей и какое изменение предложили, чтобы следующий сбой обнаружили раньше?
Magnum приглашает начинающих специалистов присоединиться к команде разработки корпоративного хранилища данных (КХД).
Это отличная возможность в том числе и для студентов и выпускников начать карьеру в IT, получить практический опыт работы с данными, SQL-запросами и процессами разработки под руководством опытных специалистов.
В нашей команде вам предстоит:
-
Разрабатывать и оптимизировать SQL-запросы.
-
Участвовать в сопровождении и развитии корпоративного хранилища данных (КХД).
-
Выполнять поиск, сбор и анализ данных из различных источников.
-
Участвовать в разработке и поддержке ETL-процессов и витрин данных.
-
Взаимодействовать со смежными подразделениями по вопросам данных.
-
Участвовать в процессах ITSM и выполнять задачи под руководством ведущих специалистов команды.
Важно, чтобы у вас были:
-
Высшее или неоконченное высшее образование в сфере IT, информационных систем, прикладной математики или смежных направлениях.
-
Базовые знания принципов работы баз данных и SQL.
-
Интерес к разработке, работе с данными и технологиям хранения информации.
-
Аналитическое мышление, внимательность и желание учиться.
-
Готовность осваивать новые инструменты и технологии.
-
Английский язык на уровне чтения технической документации будет преимуществом;
-
Опыт работы не обязателен. Нам важны желание развиваться, инициативность и готовность получать новые знания;
Описание
Перенос функциональности ЦФТ на КХД в рамках импортозамещения ЦФТ.Требования
- Коммерческий опыт работы от 5 лет;
- Опыт работы в банковском проекте;
- Опыт разработки на Oracle;
- Опыт разработки DAG на Airflow;
- Знание SQL: JOIN, индексы, агрегатные функции, навыки оптимизации;
- Опыт работы с реляционными базами данных PostgreSQL и Oracle;
- Опыт разработки и поддержки ETL/ELT-процессов: извлечения данных из разных источников, трансформации и загрузки в хранилище;
- Знание Git и умение работать с ветками GitFlow.
Условия
Срок привлечения : 12 месяцев.
Привет! Мы команда MLOps.
В команду рекомендаций Ozon мы ищем Senior специалиста в группу MLOps для работы над проектом внутреннего инструмента объяснения рекомендаций (Explainer). Наши пользователи это дата-сайентисты и продакт-менеджеры рекомендаций, которым мы помогаем отладить работу рекомендательных систем Озона.
Наш стек: Python, Clickhouse, Kafka
Вы будете
Создавать стабильные отказоустойчивые и масштабируемые сервисы и системы обработки данных;
Проектировать и валидировать прототипы решений;
Писать тесты;
Проводить Code Review;
Договариваться со смежными командами разработки (и как клиенту, и как исполнителю)
Нам важно
Продвинутое владение Python и понимание ООП;
Опыт работы с базами данных, в идеале опыт с OLAP. Опыт оптимизации запросов;
Опыт работы с очередями сообщений;
Уверенный технический бэкграунд (вы представляете себе, что такое контейнеры, k8s и т. д)
Будет плюсом
Опыт работы именно с ClickHouse (знание движков таблиц, партиционирования, шардирования и т. д).
Опыт работы с FastAPI
Знание основ ML, ML-процессов и основных метрик качества ML-моделей
КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.
В связи с активным развитием открыта вакансия Data Analyst/Engineer .
От кандидата ожидаем:
- Мы ждем от кандидата (Обязательно). Законченное ВО.
- Опыт работы с данными от 2 лет (дата-инженер+ аналитик данных / DWH).
- Продвинутый SQL: Умение писать сложные запросы, искать аномалии, дубликаты, считать метрики качества.
- Python на уровне написания скриптов: Опыт работы с Pandas / PySpark для обработки и анализа данных.
- Опыт работы с Hadoop / Hive / Greenplum
- Понимание жизненного цикла данных: Знание, как данные текут из источника в хранилище и витрины (ETL/ELT-процессы).
- Опыт работы с системами контроля версий (Git) и задачами (Jira).
- Аналитическое мышление: Умение не просто констатировать проблему, а находить ее первопричину (почему данные испортились: ошибка загрузки, сбой в источнике, человеческий фактор)
- Навыки коммуникации: Готовность и умение общаться с разными командами — от разработчиков до бизнес-заказчиков.
МЫ ПРЕДЛАГАЕМ:
- Офисный формат работы;
- Работу в стабильной компании, "белую" заработную плату;
- Оформление в соответствии с ТК РФ с первого дня работы;
- Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции;
- Профессиональное обучение и развитие;
- Яркая и насыщенная корпоративная жизнь;
-
Снабжаем всей необходимой современной техникой.
-
✅ ОТКЛИКАЙСЯ =) ЖДУ, КОГДА ВМЕСТЕ ПОРАДУЕМСЯ ТВОЕМУ ОФФЕРУ)
-
От 4 лет коммерческого опыта в роли DWH / Data Engineer
-
Хранилище, которое вы развивали и меняли, а не только поддерживали в рабочем состоянии
-
Витрины данных, доведённые до продакшена и живущие в реальной работе аналитики или BI
-
Проектирование
o Понимаете принципы построения DWH (Kimball / Inmon, star schema, ETL/ELT) и можете обосновать выбор подхода под конкретную задачу, а не следовать шаблону
o Понимаете различия OLTP-и OLAP-систем и последствия выбора для схемы и профиля нагрузки
o Умеете декомпозировать размытую бизнес-задачу до модели данных и плана работ
Технологии
o SQL на уровне оптимизации: читаете план запроса, находите узкие места, переписываете тяжёлые запросы
o PostgreSQL / MySQL или другая промышленная РСУБД под нагрузкой
o Kafka: топики, партиционирование, продюсеры и консьюмеры, поведение при сбоях и повторной обработке
o Clickhouse: проектирование схем под конкретные паттерны запросов, движки таблиц, партиционирование, materialized views
o Airflow или другой оркестратор
o Python на уровне поддерживаемого production-кода
o Git, Jira
Будет плюсом:
o Отвечали за архитектуру хранилища или крупного домена данных целиком, а не за отдельные пайплайны
o Проводили аудит чужих решений и доводили рефакторинг до результата, а не до списка замечаний
o Работаете с качеством данных как с отдельной задачей: проверки, SLA на данные, договорённости с владельцами источников
o Ревьюите код, помогаете расти middle-инженерам
o Общаетесь с бизнес-заказчиком напрямую: превращаете запрос в требования, оцениваете и защищаете сроки
o Интеграции с BI-системами: Power BI, Tableau и др.
o Опыт создания и мониторинга production-сервисов и API на Python, работа со сторонними API
o Опыт работы в облачных средах (AWS, GCP), понимание облачных сетей и безопасности
Обязанности:
-
Развивать корпоративное хранилище данных: проектировать слои, схемы, таблицы и представления, оптимизировать структуру хранения
-
Разрабатывать и сопровождать витрины данных для аналитики, BI
-
Проектировать и разрабатывать процессы загрузки данных из разнородных источников
-
Настраивать потоки передачи данных между системами: интеграции, синхронизация, обработка ошибок
-
Строить дашборды, алертинг и мониторинг
-
Обеспечивать наблюдаемость пайплайнов: контроль качества данных, отслеживание задержек и сбоев загрузок
-
Проводить аудит текущих решений, выявлять точки роста
-
Профайлинг, оптимизация и рефакторинг существующих решений
-
Поддерживать и развивать ETL-инфраструктуру и интеграционное ПО, участвовать в разборе инцидентов
-
Собирать и уточнять требования к данным вместе с аналитиками и бизнес-заказчиками
-
Участвовать в анализе данных: выявление зависимостей, построение логических связей, подготовка данных для аналитики
-
Вести задачи в Jira: оценка, декомпозиция, контроль выполнения
Условия:
-
График работы 5/2, с 09:00 до 18:00;
-
Корпоративная мобильная связь;
-
Добровольное медицинское страхование;
-
Оплата части расходов по фитнесу
#middle #удаленка
••••••••
Data Engineer Middle
Опыт работы: 1–3 года
Полная занятость
График: 5/2
Формат работы: удалённо
☑️ Наши пожелания к кандидатам
-2+ years with Python including strong knowledge of data libraries (pandas, multiprocess, Google Cloud SDK)
-2+ years of experience in ETL/ELT technologies (REST API, GraphQL, DBT, etc. ) and data pipeline orchestration (e.g., Airflow, Astronomer, DBT cloud, etc)
-Hands-on experience with Snowflake
-Problem-solving and root cause analysis in live production systems along with experience querying and transforming large volumes of data, data quality and data validation
-Experience in SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)
-Comfortable working with serialized data format (JSON, AVRO, XML, CSV) as well as compressed and encoded files
-Comfortable with ingesting data using REST APIs, data transformations and data loading/unloading techniques
-English proficiency sufficient to work in an international environment
-Будет плюсом:
-Capable of designing and implementing data pipelines over cloud architecture
-Experience working with CI/CD deployments
-Experience working with GIT
Контакты: ••••••••
🔥 •••••••• / •••••••• / ••••••••
Обязанности
Исправлять существующие фичи: выявлять причины остановки наполнения, исправлять логику и ставить задачи технической команде
Создавать новые фичи: определять требования к данным, формулировать прототип и ставить задачи в бэклог
Оценивать финансовую эффективность применения фичей (количество выдач, время обработки заявок, точность прогнозов и другие показатели)
Документировать информацию о новых и изменённых фичах в Confluence
Организовывать контроли качества данных: готовить бизнес-описание проверок и писать простые SQL-скрипты
Требования
Базовые знания SQL, Python
Опыт работы с большими данными и знание программных инструментов для анализа данных
Базовые знания реляционных баз данных и понимание различий между типами СУБД
Аналитический склад ума и способность анализировать большой объём информации
Навыки межличностного общения для взаимодействия с разными отделами Банка
Понимание нормативных требований в области обработки данных, включая конфиденциальность и безопасность
Умение запрашивать и обрабатывать обратную связь от наставников
Будет преимуществом работа со Spark, HDFS, Airflow и опыт применения LLM в задачах
Условия
Трудоустройство по ТК
ДМС с топовыми клиниками с первого дня работы
Модный офис в Москве, Питере, Екатеринбурге и Сочи
Корпоративы, тусовки и фирменный мерч в подарок
Возможность поработать над продуктами с миллионной аудиторией
Поддержка и помощь персонального ментора
Наша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C - централизованное и эталонное место хранения данных. Мы ищем сильного инженера данных для работы с крупными распределенными системами. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink. Вам предстоит работать с высоконагруженными системами, потоковой обработкой и участвовать в построении единого хранилища данных компании.
Обязанности
- разработка и оптимизация витрин данных: Проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum. Обеспечение высокой производительности и отказоустойчивости пайплайнов.
- потоковая обработка данных (RT и NRT): Разработка и поддержка стриминговых пайплайнов. Построение NRT пайплайнов обработки данных из Kafka в Apache Iceberg (Kafka2Iceberg) и RT пайплайнов между Kafka (Kafka2Kafka) с использованием Apache Flink и Spark Structured Streaming.
Архитектура данных:
- активное участие в разработке архитектуры решения потоковой обработки данных Data Streamhouse данных для обеспечения
- разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg (оптимизация партиционирования, compaction, time travel).
Инженерные практики:
- реализация механизмов инкрементальной загрузки данных для минимизации времени обработки и нагрузки на источники
- разработка и документирование API (на Java или Scala) для доступа к данным витрин и сервисам семантического слоя
Производительность и качество:
- глубокая оптимизация Spark-приложений, включая использование векторного движка Gluten/Velox для ускорения рабочих нагрузок
- разработка решений для сверки и контроля качества данных (Data Quality) с использованием Spark и Python.
DevOps и CI/CD: Внедрение разработанных решений в продуктовую среду. Настройка пайплайнов сборки и деплоя в Jenkins, управление зависимостями задач в Oozie или современных оркестраторах.
Коммуникация: Взаимодействие с внутренними бизнес заказчиками для уточнения и согласования требований, презентация доработок сервиса.
Требования
- уверенное владение языками: SQL, Java (или Scala), Python (как вспомогательный для ad-hoc анализа и DQ).
- глубокое понимание экосистемы Apache Hadoop (HDFS, YARN) и опыт работы с ней в продакшене.
- опыт разработки пайплайнов на Apache Spark (Core, SQL, Structured Streaming) уровня не ниже middle.
- опыт работы с потоковыми данными: Apache Kafka (как источник/приемник) и хотя бы одним фреймворком стриминговой обработки (Apache Flink или Spark Streaming).
- понимание форматов хранения данных (Parquet, ORC, Avro) и современных подходов к управлению Data Lakehouse (обязательно знание Apache Iceberg).
- опыт оптимизации производительности Apache Spark (настройка ресурсов, устранение перекосов данных, работа с memory, оптимизация shuffle).
Будет большим плюсом:
- опыт внедрения промышленных пайплайнов пакетной передачи данных.
- опыт внедрения промышленных пайплайнов потоковой передачи данных.
- опыт внедрения Gluten/Velox или аналогичных векторизованных движков.
- навыки сборки и развертывания Doker-образов приложений.
Условия
- офисный формат работы (м Кутузовская ул. Поклонная 3)
- годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- регулярные митапы и развитое DS-community
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбер.
GlowByte - лидер в сфере разработки Business Intelligence (BI) решений. Компания на рынке c 2004 года.
Сегодня нас выбирают лидеры своих отраслей: крупнейшие банки (17 из Топ-20), телеком и сотовые операторы (все компании большой четверки), крупнейшие ритейлеры и логистические компании - с каждым годом этот список растет.
GlowByte - аккредитованная ИТ компания.
Мы создаем:
-
Платформы хранения и анализа данных (DWH/BI)
-
Системы принятия решений и управления рисками
-
Аналитические и операционные CRM
Мы внедряем аналитические решения на базе:
-
ORACLE DB, MS SQL Server, SAS, IBM, SAP BW/HANA,Vertica, Teradata, Hadoop, GreenPlum.
Сегодня нас больше 2000 человек, и мы активно растем и ищем в нашу команду разработчика.
Основной стек:
Какие задачи будут стоять перед тобой (подробности, и детали проектов - на техническом интервью):
-
Цикл разработки и реализации корпоративных информационно-аналитических систем;
-
Участие в составление плана проекта, оценка проектных сроков и рисков, организация оптимального процесса разработки;
-
Доработка систем, оптимизация запросов, настройка ETL процессов, устранение дефектов в рамках проекта;
-
Участие в проектировании новых решений;
-
Участие в разработке технической документации по проекту;
-
Участие в приемке системы.
Требования:
- работа в офисе на Кутузовской;
- уверенное знание SQL;
- опыт разработки и поддержки DAG в Airflow;
- опыт работы c Greenplum;
- опыт работы с распределенной обработкой больших данных;
- понимание принципов ETL/ELT;
- опыт построения аналитических витрин;
- опыт контроля качества данных;
- навыки технического документирования.
Будет плюсом:
- опыт работы с Hadoop;
- опыт работы с потоковыми или near-real-time данным;
- знание Kafka или аналогичные технологии;
- понимание процессов DevOps.
А что мы можем предложить тебе?
- Стабильный оклад и премию по итогам года/проекта
- Предлагаем хорошую команду, имеющую опыт на конкретно этом проекте и достаточно лояльного заказчика
- Широкий и современный технический стек
- Доступ к принятию решений
- ДМС, компенсация изучения английского языка/абонемента в фитнес-клуб
- Профессиональное обучение и сертификацию с оплатой за счёт компании
Жми откликнуться, и мы скоро свяжемся с тобой.
Задачи
- Анализ процессов и разработка на их основе алгоритмов преобразования данных; оркестрация потоков (зависимости в потоках, выстраивание режимов загрузки).
- Оптимизация алгоритмов загрузки данных.
- Разработка нового и доработка существующего функционала в КХД (ETL, раскладка данных по логическим слоям хранилища, создание конечных витрин, отчётов, кубов).
Требования
- Опыт проектирования потоков загрузки данных в хранилища DWH (Greenplum), опыт работы с промышленными ETL-средством;
- Знание SQL на высоком уровне (разработка функций и процедур, оптимизация сложных запросов);
- Опыт работы с логическими слоями хранилища (якорная модель, data vault, снежинка, звезда);
- Понимание общей специфики банковских продуктов и процессов — желательно;
- Опыт работы на проектах внедрения/развития хранилищ данных от 3-х лет.
Условия и бенефиты
- Удаленный формат работы на всей территории РФ;
- ДМС после испытательного срока;
- Корпоративная электронная библиотека;
- Страхование при выезде за рубеж;
- Корпоративная социальная и материальная поддержка в определенных жизненных ситуациях;
- 10 рабочих дней 100% оплачиваемого листа нетрудоспособности в год;
- Корпоративные скидки и специальные акции от компаний-партнеров;
- Льготные условия на продукты Банка;
- Корпоративные мероприятия для сотрудников и их детей
#junior #офис
••••••••
Data Engineer
Полная занятость
Формат работы: офис (Москва)
☑️ Чем предстоит заниматься
-Проводить аналитику новых источников, реплику автоматизированных систем (АС). (Hadoop, spark)
-Разрабатывать витрины данных
-Строить прототипы, передавать прототипы в разработку. (SQL)
-Поддерживать текущий функционал, дорабатывать текущий функционал в рамках новых требований
-Формировать проверки контроля качества данных
☑️ Наши пожелания к кандидатам
-Уверенное знание SQL (HQL). Оконные функции, multiple join, cte, оптимизация
-Опыт работы с hadoop, hdfs, hive, yarn, spark (понимание как физически лежат данные в hadoop, партиционирование таблиц и т.д.)
-Опыт работы с большими данными (от 10млн записей в партиции)
-Опыт работы с банковскими данными (Общее понимание продуктов банка)
Контакты: ••••••••
🔥 •••••••• / •••••••• / ••••••••
- Анализ больших объемов данных, формирование витрин и отчетов.
- Взаимодействие с отделами бизнеса и клиентов.
- Разработка и поддержка витрин данных для нужд Data Science проектов
- Разработка триггеров для бизнеса
- Разработка дашбордов для мониторинга
- Знание SQL, Pyspark, Python, git.
- Способность к критическому мышлению и решению проблем.
- Умение эффективно работать в команде.
- Четкая документация результатов работы и задач от заказчика.
- Коммуникабельность и ответственность.
- Ownership и умение реализовывать задачи end-to-end.
- Знание Data Science будет плюсом.
В сопроводительном письме, пожалуйста, укажите свои зарплатные ожидания, спасибо! ❤️
Наши условия ниже :)
О нас:
Главгосэкспертиза России – Учреждение, где масштабные проекты становятся реальностью. Мы проводим экспертизу ключевых объектов страны, работаем с лидирующими технологиями и формируем будущее строительной отрасли. Здесь инженерные решения встречаются с передовыми IT-разработками, а экспертиза становится важнейшим этапом на пути к безопасному и современному будущему.
Мы ожидаем:
- Опыт коммерческой разработки в роли Data Engineer, Analytics Engineer или Backend-разработчика с упором на данные от [1-3] лет.
- Отличное знание SQL и PostgreSQL (понимание принципов работы индексов, планов запросов, оконных функций, проектирование схем данных).
- Уверенное знание Python (написание скриптов, кастомных операторов для Airflow, работа с API).
- Опыт работы с Apache Airflow (написание DAGs, работа с сенсорами, хуками, оптимизация расписаний).
- Понимание принципов контейнеризации (Docker, docker-compose).
- Опыт подготовки данных для BI-систем (понимание, как строить витрины под Power BI, Superset, Metabase).
- Умение переводить бизнес-требования в технические решения и выстраивать процессы работы с данными.
Будет вашим преимуществом:
- Опыт работы с объектными хранилищами (S3, MinIO).
- Понимание принципов DataOps, CI/CD для кода и данных.
- Опыт настройки мониторинга, логирования и алертинга для пайплайнов.
Ключевые навыки (Теги для hh.ru):
Python, SQL, PostgreSQL, Apache Airflow, Docker, ETL, ELT, Power BI, Витрины данных, Apache Superset, Metabase
Ключевые задачи:
- Проектировать, разрабатывать и поддерживать ETL/ELT пайплайны с использованием Apache Airflow.
- Развивать архитектуру реляционного хранилища данных на базе PostgreSQL, писать сложный SQL, оптимизировать запросы и проектировать витрины данных.
- Подготавливать и структурировать данные для систем бизнес-аналитики: Power BI, Apache Superset, Metabase.
- Контейнеризировать решения и обеспечивать бесшовный деплой с помощью Docker.
- Взаимодействовать с аналитиками, дата-сайентистами и бизнесом для сбора требований и превращения их в работающие data-продукты.
Мы предлагаем:
- работу в стабильной государственной организации с соблюдением трудового законодательства
- полугодовое и годовое премирование (система целей и показателей)
- пакет ДМС после испытательного срока и страховку для тех, кто любит путешествовать
- корпоративное и внешнее обучение
- систему материальной помощи
- активную спортивную жизнь внутри Учреждения: бег, футбол, йога, волейбол, настольной теннис, шахматы, пулевая стрельба и много другое
- разнообразные возможности досуга: лекции на различные темы, кинопоказы, экскурсии и праздничные мероприятия с участием членов семьи
- современное офисное пространство по адресу: м. Октябрьская, ул. Большая Якиманка, д. 42, стр. 1-2
- график работы 5/2, суббота и воскресенье - выходные дни
Senior Data Engineer ••••••••
Местоположение: EU, Грузия, Беларусь
Формат работы: Удаленно
Опубликована: ••••••••
Требования:
• Международный опыт проектов с рабочим английским
• 5+ лет опыта, из них 2–3 года с Azure
• Стек данных Azure
• Python/PySpark, SQL
Контакт: ••••••••
•••••••• опубликована в ••••••••
Наша команда отвечает за качество моделей TTS в GigaChat – той части нейросети, которая занимается звуком. Сейчас мы ищем ребят, которые будут работать над базовым качеством, мультимодальным Гигачатом и другими классными проектами.
Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!
Писать пайплайны обработки аудио/видео данных.
Хотим обрабатывать десятки тысяч часов в день на кластере
инферить опенсорсные и внутренние модели на гпу (денойзер, распознавание, тулы для оценки качества аудио)
поддержка сетевого хранилища данных
-
python и алгоритмы на хорошем уровне
-
опыт с multithreading и multiprocess
-
опыт обучения и/или инференса тяжелых моделей на нескольких гпу
-
s3, dvc, git
-
гибридный или удаленный формат работы
-
ежегодный пересмотр зарплаты и годовая премия
-
корпоративный спортзал и зоны отдыха
-
более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
-
расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
-
гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
-
бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
Кадровый центр Министерства здравоохранения Московской области предлагает вакансию инженера данных (ClickHouse / Airflow / Python) в ГБУ МО «МИАЦ».
ГБУ МО «МИАЦ» (Медицинский информационно-аналитический центр) — подведомственная организация Министерства здравоохранения Московской области. Мы обеспечиваем сбор, обработку и анализ медицинских данных, внедряем и сопровождаем региональные информационные системы в сфере здравоохранения.
Кого мы ищем:
Нам нужен инженер данных, который умеет строить и сопровождать витрины и загрузку данных, проверяет каждый результат на данных и готов вести студентов. Отдел переводит работу с ручных выгрузок на региональное аналитическое хранилище медицинских данных (сотни таблиц, крупнейшие — сотни миллионов строк) и ИИ-агента, которым пользуются аналитики министерства и медицинских организаций.
Чем предстоит заниматься:
- Разрабатывать витрины регионального аналитического хранилища медицинских данных на ClickHouse: изучать данные источников (ЕМИАС, скорая помощь, льготное лекарственное обеспечение и др.), собирать витрины, описывать их колонки;
- Разрабатывать и сопровождать загрузку данных в хранилище на Apache Airflow: инкрементальная загрузка из MS SQL Server (Change Tracking) и PostgreSQL, снимки таблиц, контроль свежести данных;
- Переводить регулярные ручные выгрузки отдела (десятки повторяющихся задач) на автоматические расчёты по расписанию со сверкой с результатами прежних скриптов;
- Обеспечивать качество данных: сверять хранилище с источниками по медицинским организациям, проводить аудит слоёв хранилища, выявлять и устранять расхождения;
- Участвовать в развитии ИИ-агента «Оперативная аналитика» (вопрос на русском языке → SQL-запрос к хранилищу → ответ): утверждённые определения показателей, инструменты агента, проверка ответов на реальных вопросах аналитиков;
- Наставлять студентов-стажёров отдела и проводить ревью их кода.
Что мы ждём от вас:
- Высшее техническое или математическое образование (прикладная математика и информатика, информатика и вычислительная техника, программная инженерия, прикладная информатика, статистика и анализ данных) либо профессиональная переподготовка по направлению «Анализ данных» или «Инженерия данных»;
- Опыт работы от 1 года;
- Уверенное знание SQL: оконные функции, CTE, оптимизация запросов, чтение плана выполнения;
- Опыт работы с таблицами объёмом в сотни миллионов строк;
- Опыт работы с аналитической СУБД (ClickHouse, Greenplum, Vertica, BigQuery и т. п.) либо готовность освоить ClickHouse в течение трёх месяцев при сильном знании SQL;
- Python для работы с данными: pandas, работа с базами данных из кода, автотесты (pytest); аккуратный код в git;
- Linux на уровне уверенного пользователя; Docker — запуск контейнеров и чтение docker-compose;
- Привычка проверять результат на данных и документировать его на русском языке;
- Ответственное отношение к персональным данным, готовность работать в закрытом контуре сети.
Будет преимуществом:
- Apache Airflow или другой оркестратор;
- MS SQL Server (T-SQL), PostgreSQL;
- LangChain / LangGraph, работа с LLM через OpenAI-совместимый API, FastAPI;
- Опыт работы с ИИ-ассистентами разработки;
- Медицинская информатика, ЕМИАС, ОМС.
Условия:
- Официальное оформление по ТК РФ;
- Испытательный срок — 3 месяца;
- Полный рабочий день;
- График работы: Пн–Чт 9:00–18:00, Пт 9:00–16:45;
- Комфортабельный бизнес-центр класса А «Кубик», м. Мякинино, 7–10 минут пешком;
- Доход месячный средний по году (с учетом системы премирования) — 200 000 руб. до вычета налогов.
Почему стоит пойти к нам:
- Работа с действующей платформой данных региона, у которой есть реальные пользователи, собственные GPU-серверы и языковые модели;
- Современный документированный стек, свобода в выборе инструментов, включая ИИ-ассистентов разработки;
- Возможности для профессионального и карьерного развития — до архитектора данных или руководителя направления ИИ-агентов;
- Социально значимая отрасль: Вы будете работать над проектами, от которых напрямую зависит качество медицинской помощи в Московской области. Это не абстрактный бизнес — это реальные врачи и пациенты;
- Команда профессионалов. Вы станете частью сильной команды, где есть у кого учиться и с кем расти.
Ищем ETL-разработчика в банковский проект.
Описание проекта:
Перенос функциональности ЦФТ на КХД в рамках импортозамещения ЦФТ.
Обязанности:
— Разработка на Oracle;
— Разработка DAG на Airflow;
— Разработка и поддержка ETL/ELT-процессов: извлечение данных из различных источников, трансформация и загрузка в хранилище;
— Работа с реляционными СУБД (PostgreSQL, Oracle);
— Работа с Git и ветками (GitFlow).
Требования:
— Навыки разработки на Oracle;
— Навыки разработки DAG на Airflow;
— Знание SQL (JOIN, индексы, агрегатные функции, навыки оптимизации);
— Опыт работы с реляционными СУБД (PostgreSQL, Oracle);
— Навыки разработки и поддержки ETL/ELT-процессов: извлечение данных из различных источников, трансформация и загрузка в хранилище;
— Знание Git и умение работать с ветками (GitFlow).
Условия:
— Локация: РФ (обязательно);
— Удалённая работа;
— Официальное оформление;
Смотрите также в каталоге
Хотите персональную подборку?
Введите свои критерии — мы отфильтруем вакансии по вашим требованиям
Найти подходящие вакансии →