Вакансии Data Engineer и инженера данных

Построение потоков данных, хранилищ и ETL/ELT-пайплайнов. Анализ данных и моделирование представлены в соседних разделах. Обновляется каждый час. Найдено: 107 вакансий за последнюю неделю.

Вакансий за неделю:
107
Медиана:
300 000 ₽
Вилка:
200 000 ₽ — 395 000 ₽

Зарплаты — по 109 вакансиям с указанной вилкой за 30 дней

Поиск вакансий

HireSeeker — агрегатор вакансий. Собираем вакансии со всех основных площадок и показываем по вашей специальности. Подпишитесь на ежедневную подборку только релевантных.

В дайджест попадут вакансии на русском
Сайты компаний
СБЕР

Data engineer в команду GigaChat (TTS)

СБЕРАвтоподнятие
Зарплата не указанаРоссияМосква

Наша команда отвечает за качество моделей TTS в GigaChat – той части нейросети, которая занимается звуком. Сейчас мы ищем ребят, которые будут работать над базовым качеством, мультимодальным Гигачатом и другими классными проектами.

Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Писать пайплайны обработки аудио/видео данных.

Хотим обрабатывать десятки тысяч часов в день на кластере

инферить опенсорсные и внутренние модели на гпу (денойзер, распознавание, тулы для оценки качества аудио)

поддержка сетевого хранилища данных

  • python и алгоритмы на хорошем уровне

  • опыт с multithreading и multiprocess

  • опыт обучения и/или инференса тяжелых моделей на нескольких гпу

  • s3, dvc, git

  • гибридный или удаленный формат работы

  • ежегодный пересмотр зарплаты и годовая премия

  • корпоративный спортзал и зоны отдыха

  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

Эта вакансия также есть на:Getmatch
hh.ru
Зарплата не указанаРоссияМоскваОфис

Кадровый центр Министерства здравоохранения Московской области предлагает вакансию инженера данных (ClickHouse / Airflow / Python) в ГБУ МО «МИАЦ».

ГБУ МО «МИАЦ» (Медицинский информационно-аналитический центр) — подведомственная организация Министерства здравоохранения Московской области. Мы обеспечиваем сбор, обработку и анализ медицинских данных, внедряем и сопровождаем региональные информационные системы в сфере здравоохранения.

Кого мы ищем:

Нам нужен инженер данных, который умеет строить и сопровождать витрины и загрузку данных, проверяет каждый результат на данных и готов вести студентов. Отдел переводит работу с ручных выгрузок на региональное аналитическое хранилище медицинских данных (сотни таблиц, крупнейшие — сотни миллионов строк) и ИИ-агента, которым пользуются аналитики министерства и медицинских организаций.

Чем предстоит заниматься:

  • Разрабатывать витрины регионального аналитического хранилища медицинских данных на ClickHouse: изучать данные источников (ЕМИАС, скорая помощь, льготное лекарственное обеспечение и др.), собирать витрины, описывать их колонки;
  • Разрабатывать и сопровождать загрузку данных в хранилище на Apache Airflow: инкрементальная загрузка из MS SQL Server (Change Tracking) и PostgreSQL, снимки таблиц, контроль свежести данных;
  • Переводить регулярные ручные выгрузки отдела (десятки повторяющихся задач) на автоматические расчёты по расписанию со сверкой с результатами прежних скриптов;
  • Обеспечивать качество данных: сверять хранилище с источниками по медицинским организациям, проводить аудит слоёв хранилища, выявлять и устранять расхождения;
  • Участвовать в развитии ИИ-агента «Оперативная аналитика» (вопрос на русском языке → SQL-запрос к хранилищу → ответ): утверждённые определения показателей, инструменты агента, проверка ответов на реальных вопросах аналитиков;
  • Наставлять студентов-стажёров отдела и проводить ревью их кода.

Что мы ждём от вас:

  • Высшее техническое или математическое образование (прикладная математика и информатика, информатика и вычислительная техника, программная инженерия, прикладная информатика, статистика и анализ данных) либо профессиональная переподготовка по направлению «Анализ данных» или «Инженерия данных»;
  • Опыт работы от 1 года;
  • Уверенное знание SQL: оконные функции, CTE, оптимизация запросов, чтение плана выполнения;
  • Опыт работы с таблицами объёмом в сотни миллионов строк;
  • Опыт работы с аналитической СУБД (ClickHouse, Greenplum, Vertica, BigQuery и т. п.) либо готовность освоить ClickHouse в течение трёх месяцев при сильном знании SQL;
  • Python для работы с данными: pandas, работа с базами данных из кода, автотесты (pytest); аккуратный код в git;
  • Linux на уровне уверенного пользователя; Docker — запуск контейнеров и чтение docker-compose;
  • Привычка проверять результат на данных и документировать его на русском языке;
  • Ответственное отношение к персональным данным, готовность работать в закрытом контуре сети.

Будет преимуществом:

  • Apache Airflow или другой оркестратор;
  • MS SQL Server (T-SQL), PostgreSQL;
  • LangChain / LangGraph, работа с LLM через OpenAI-совместимый API, FastAPI;
  • Опыт работы с ИИ-ассистентами разработки;
  • Медицинская информатика, ЕМИАС, ОМС.

Условия:

  • Официальное оформление по ТК РФ;
  • Испытательный срок — 3 месяца;
  • Полный рабочий день;
  • График работы: Пн–Чт 9:00–18:00, Пт 9:00–16:45;
  • Комфортабельный бизнес-центр класса А «Кубик», м. Мякинино, 7–10 минут пешком;
  • Доход месячный средний по году (с учетом системы премирования) — 200 000 руб. до вычета налогов.

Почему стоит пойти к нам:

  • Работа с действующей платформой данных региона, у которой есть реальные пользователи, собственные GPU-серверы и языковые модели;
  • Современный документированный стек, свобода в выборе инструментов, включая ИИ-ассистентов разработки;
  • Возможности для профессионального и карьерного развития — до архитектора данных или руководителя направления ИИ-агентов;
  • Социально значимая отрасль: Вы будете работать над проектами, от которых напрямую зависит качество медицинской помощи в Московской области. Это не абстрактный бизнес — это реальные врачи и пациенты;
  • Команда профессионалов. Вы станете частью сильной команды, где есть у кого учиться и с кем расти.
hh.ru
ростджоб

ETL разработчик (Oracle)

ростджоб
Зарплата не указанаРоссияМоскваУдалёнка

Ищем ETL-разработчика в банковский проект.

Описание проекта:
Перенос функциональности ЦФТ на КХД в рамках импортозамещения ЦФТ.

Обязанности:
— Разработка на Oracle;
— Разработка DAG на Airflow;
— Разработка и поддержка ETL/ELT-процессов: извлечение данных из различных источников, трансформация и загрузка в хранилище;
— Работа с реляционными СУБД (PostgreSQL, Oracle);
— Работа с Git и ветками (GitFlow).

Требования:
— Навыки разработки на Oracle;
— Навыки разработки DAG на Airflow;
— Знание SQL (JOIN, индексы, агрегатные функции, навыки оптимизации);
— Опыт работы с реляционными СУБД (PostgreSQL, Oracle);
— Навыки разработки и поддержки ETL/ELT-процессов: извлечение данных из различных источников, трансформация и загрузка в хранилище;
— Знание Git и умение работать с ветками (GitFlow).

Условия:
— Локация: РФ (обязательно);
— Удалённая работа;
— Официальное оформление;

Соц.сети

Data Engineer

Неизвестный работодатель
Зарплата не указанаУзбекистанТашкентОфис

Data Engineer

Местоположение: Ташкент, Узбекистан
Формат работы: Офис
Опубликована: ••••••••

Требования:
• Опыт Data Engineer в промышленных проектах от 2 лет
• Продвинутый SQL, Python для обработки данных
• Spark или аналоги: партиции, shuffle, планы выполнения
• dbt и Airflow или аналоги

Контакт: ••••••••

•••••••• опубликована в ••••••••

Соц.сети
от 1 200 000 KZT (≈ от 224k ₽)КазахстанАлматы

Data engineer #алматы

#FreedomHolding

#3п от 1,2 млн и выше

#tg @kzk888 Обязанности

- Разработка и сопровождение ETL/ELT-пайплайнов на Python и Apache Airflow.

- Разработка и оптимизация SQL-запросов в Greenplum.

- Построение потоковой обработки данных с использованием Apache Kafka.

- Интеграция данных из различных источников: БД, REST API, файловые системы.

- Разработка REST API и микросервисов на FastAPI.

- Проектирование структур данных, витрин и моделей хранения в DWH.

- Оптимизация производительности загрузки и обработки больших объёмов данных.

- Настройка мониторинга, логирования и обработки ошибок в пайплайнах.

- Обеспечение качества, целостности и актуальности данных.

Требования

- Опыт работы Data Engineer от 3 лет.

- Уверенное знание Python (обработка данных, интеграции, автоматизация).

- Продвинутый SQL: сложные запросы, оконные функции, CTE, оптимизация.

- Практический опыт работы с Greenplum или PostgreSQL.

- Опыт разработки DAG в Apache Airflow.

- Понимание принципов работы Apache Kafka: topics, partitions, consumer groups, offsets.

- Опыт разработки REST API на FastAPI.

- Понимание архитектуры DWH, ETL/ELT и принципов построения Data Pipelines.

- Опыт работы с Git и Linux. Мы предлагаем:

ДМС

Внешнее обучение

Компенсация за фитнес

Скидки, бонусы от компаний входящих в холдинг

#tg @kzk888 / #telegram @kzk888
hh.ru
от 220k ₽РоссияМоскваГибрид

О роли

Ищем инженера, который глубоко понимает базы данных и умеет строить системы, переваривающие непрерывный поток данных. Мы разрабатываем системы мониторинга и управления транспортом: каждую секунду к нам приходят тысячи событий от устройств, и их нужно быстро принять, сохранить и отдать в аналитику.

Стек: PostgreSQL, ClickHouse, Go. Опыт именно в транспорте или GPS не обязателен — важнее инженерная база и умение работать с нагруженными данными.

Задачи:

  • Проектирование и развитие хранилищ данных на PostgreSQL и ClickHouse под высокую нагрузку на запись и чтение.
  • Приём и обработка непрерывных потоков телеметрии: буферизация, дедупликация, работа с опоздавшими событиями.
  • Оптимизация запросов и схем данных: поиск узких мест и их устранение по метрикам.
  • Разработка и поддержка сервисов на Go.
  • Участие в архитектурных решениях и код-ревью.
  • Работа с ИИ-агентами как с основным инструментом разработки.
Требования:
  • Глубокое знание PostgreSQL: чтение планов запросов (EXPLAIN ANALYZE), индексы, партиционирование, MVCC, vacuum, блокировки.
  • Опыт с колоночными СУБД, лучше всего с ClickHouse: движки MergeTree, ключи сортировки и партиционирования, материализованные представления, пакетная вставка.
  • Умение проектировать модель данных от сценариев чтения: «горячие» и исторические данные, предагрегация, сроки хранения.
  • Привычка измерять: профилирование, нагрузочное тестирование, решения на основе цифр.
Условия:
  • Формат работы: Официальное трудоустройство по ТК РФ. График 5/2, возможен гибридный формат работы (после успешного прохождения испытательного срока).
  • Техническое оснащение: Предоставляем современный ноутбук (MacBook) и необходимую периферию для комфортной работы.
  • Финансовая мотивация: Конкурентная заработная плата (обсуждается по итогам собеседования, квартальные премии по результатам работы компании и личным KPI.
  • Социальный пакет: ДМС для сотрудника после испытательного срока.
  • Развитие: Компенсация профильного обучения, конференций и профессиональной литературы.
hh.ru
всеинструменты.ру

Data Engineer

всеинструменты.ру
Зарплата не указанаРоссияМоскваУдалёнка

Сейчас мы ищем Data Engineer

Мы ищем инженера, который будет развивать корпоративную платформу данных и DWH компании: модернизировать ETL-ландшафт, переводить процессы с SSIS на Apache Airflow 3 и внутренний Python-фреймворк, а также делать работу с данными надежнее и удобнее для аналитических команд.

Какие задачи тебя ждут:

  • Развивать корпоративную платформу данных и DWH;

  • Переводить существующие ETL-процессы с SSIS на Apache Airflow 3 и внутренний YAML-driven Python-фреймворк;

  • Разрабатывать и поддерживать надежные data-пайплайны;

  • Обеспечивать стабильную промышленную эксплуатацию: retry, backfill, идемпотентность, дедупликацию и корректную обработку сбоев;

  • Развивать проверки качества данных;

  • Оптимизировать SQL и работу с Microsoft SQL Server;

  • Развивать CI/CD-процессы для работы с данными;

  • Создавать переиспользуемые инструменты и self-service решения для аналитических команд;

  • Участвовать в развитии архитектуры DWH и подходов к моделированию данных.

Твоя суперсила:

  • Опыт работы Data Engineer от 3 лет;

  • Уверенный SQL и практический опыт работы с Microsoft SQL Server;

  • Python: ООП, модульная архитектура, type hints, тестирование, логирование, работа с REST API и БД;

  • Опыт работы с Apache Airflow или другим промышленным оркестратором;

  • Опыт работы с dbt или аналогичным SQL transformation framework;

  • Понимание ETL/ELT, batch- и near-real-time-обработки;

  • Умение строить надежные и отказоустойчивые data-пайплайны;

  • Опыт Git и CI/CD;

  • Опыт реализации Data Quality-проверок;

  • Понимание архитектуры DWH и организации слоев данных;

  • Знание подходов к моделированию данных: Kimball, Inmon, Data Vault, Anchor Modeling.

С нас:

  • Возможность влиять на продукт, мы всегда открыты к новым идеям и обратной связи;
  • Возможность быть эффективным в любой точке мира, мы работаем удаленно, но это не мешает нам быть командой (при желании, можно работать из офиса - Москва, Нижний Новгород, Ковров, Владимир);
  • Дружелюбная атмосфера и открытость к новым знаниям, мы общаемся на "ты", устраиваем внутренние митапы, выступаем на конференциях, делимся опытом;
  • Возможность стать амбассадором ИТ бренда, у нас есть деврел :)
  • Счастливая и вовлеченная команда – держим высокий показатель удовлетворенности сотрудников (eNPS);
  • Перфоманс ревью 2 раза в год с премией до двух окладов и описанные грейды;
  • Забота о здоровье - для тебя есть расширенный ДМС со стоматологией, а семью можно подключить со скидкой;
  • Комфортное рабочее место - выдаем технику или можешь работать на своей.
Другие площадки
лига цифровой экономики

Data Engineer

лига цифровой экономики
Зарплата не указанаРоссияМоскваОфис

Сейчас мы в поиске Дата инженера для работы над крупным банковским проектом по валидации моделей, разработку дашбордов и отчётов в BI-системах.

Твои задачи:

  • Проектировать и разрабатывать дашборды и отчёты в BI-системах (Power BI, Superset)

  • Повышать долю процессов покрытых ии-агентами или генеративными пайплайнами (использовать LLM)

  • Обеспечивать наглядность и понятность представления данных для бизнес-пользователей

  • Формировать регулярную и ad-hoc отчётность Департамента

  • Поддерживать и развивать существующие отчёты и дашборды

  • Обеспечивать единые стандарты визуализации и дизайна отчётности

  • Участвовать в разработке и внедрении новых подходов к визуализации данных и отчётности

  • Управлять зависимостями, влияющими на своевременность построения отчётности (источники данных, доступы, смежные команды)

Что мы ждем от тебя:

  • Уверенное владение SQL

  • Опыт работы с Python

  • Опыт работы с BI инструментами (Power BI или иные инструменты визуализации

  • Знание LLM

Что мы обеспечиваем:

  • Внутренние семинары, внутренние митапы, мы очень любим учиться новому

  • ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи

  • Технику для комфортной работы

  • Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудника

Сайты компаний
Зарплата не указанаРоссияМоскваГибрид

Геоэффект — это аналитический сервис компании МТС, основанный на обработке обезличенных больших данных мобильного трафика и геопозиции абонентов. Он позволяет проводить детальный анализ населения, туристических потоков, посещаемости объектов и инфраструктуры с высокой точностью и частотой обновления. Сервис используется в различных отраслях, включая ритейл, банковскую сферу, туризм, транспорт, государственное управление и урбанистику, для оптимизации решений по размещению объектов, развитию инфраструктуры, анализу аудитории и повышению эффективности бизнес-процессов.

Задачи

Выгрузки, обработка гео и телеком-данных (трафик, локации нахождения абонентов);
Разработка простых ETL-процессов;
Выполнение ADHOC-задач на PySpark;
Создание сегментов пользователей;
Подготовка отчетности, обработка таблиц на PySpark

Требования

В том числе Студенты бакалавриата, специалитета или магистратуры;
Базовое знание SQL и Python;
Знание основ Hadoop и PySpark будет большим плюсом

Условия

Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах;
Профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше;
Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;
Участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре True Tech Arch;
Полезные курсы и вебинары в корпоративном университете и электронную библиотеку;
ДМС с первого месяца работы, включая стоматологию;
Страхование от несчастных случаев с 1 месяца работы. Материальную помощь в сложных жизненных ситуациях;
Отпуск 28 календарных дней (+3 дополнительных дня за ненормированный рабочий день);
Гибридный формат работы;
Прием врачей общей практики и массаж в офисе;
Мобильная связь за счет компании и льготные тарифы для близких;
Подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.

hh.ru
а7-технологии
Зарплата не указанаРоссияМоскваОфис

Сейчас мы в поиске Инженера данных / Analytics Engineer, который усилит нашу команду.

Обязанности:

  • Формирование требований к системам на поставку данных для витрин.
  • Подключение к Lakehouse: Trino / SQL / BI-слой.
  • Работа с датасетами на слоях Core и Mart.
  • Автопересчёт: Airflow DAG, расписания, контроль статусов.
  • Сервисный слой: метаданные, DQ, аудит, эксплуатационные метрики.
  • Автоматизация процессов на Python: скрипты, работа с API/файлами.
  • ETL/ELT-процессы.
  • Документация и передача решений в эксплуатацию.

Требования:

  • Образование: высшее - ИТ, ПМИ, экономика, аналитика.
  • SQL: продвинутый уровень - оконные функции, сложные JOIN, оптимизация запросов; Trino / Presto.
  • Python: автоматизация, скрипты, работа с API/файлами.
  • Airflow: DAG, расписания, контроль статусов.
  • Lakehouse: понимание S3, Parquet, Iceberg, слоёв Landing / Raw / Core / Mart.
  • Инженерия: ETL/ELT, Git, Docker, Linux.
  • Данные: понимание DQ-проверок, метаданных, аудита.
  • Личные качества: организованность, системность, навык документирования.

Желательно:

  • Kafka / Kafka Connect (на чтение).
  • ClickHouse, PostgreSQL.
  • Базовый опыт BI: Superset / Power BI.

Личные компетенции:

  • Системное мышление.
  • Аккуратность и внимание к деталям.
  • Умение работать с требованиями и документацией.
  • Самостоятельность и ответственность за результат.
Условия:
  • Формат работы 5/2 в офисе.
  • Конкурентоспособная заработная плата.
  • Официальное трудоустройство по ТК РФ, бессрочный договор.
  • ДМС после испытательного срока.
  • Работа в профессиональной команде, открытой к сотрудничеству, идеям и инновациям.
hh.ru
Зарплата не указанаРоссияМоскваУдалёнка
В команде Вам предстоит заниматься разработкой сервисов, которые предоставляют продавцам online аналитику по их товарам. Клики, заказы, поисковая статистика и многие другие показатели необходимые нашим пользователям для принятия верных бизнес-решений.
Вам предстоит:
  • Принимать участие в проектировании архитектуры хранилища данных;
  • Выстраивать ETL процессы;
  • Обеспечивать качество и доступность данных;
  • Писать и оптимизировать сложные аналитические запросы в Clickhouse;
  • Проводить Code review коллег;
  • Писать бизнес-логику на Golang или Python.

Формат работы — удаленный формат.

Вы нам подходите, если:

  • Владеете нашим стеком: python/go (глубокое знание языков необязательно), clickhouse (глубокое знание обязательно), kafka, redis, airflow, k8s;
  • Имеете отличные знания существующих моделей хранения данных, умение рассказать о преимуществах и недостатках каждого;
  • Имеете богатый опыт работы с Clickhouse, умеете писать и оптимизировать сложные аналитические запросы;
  • Владеете опытом работы с большими данными (>10 Tb за сутки);
  • Желаете получить коммерческий опыт разработки на Golang.
Соц.сети

Tech Lead Data Platform (Lakehouse)

Неизвестный работодатель
Зарплата не указанаАрменияYerevanУдалёнка

#удаленка #techlead #dataengineer #DWH #банк

🚀 Tech Lead Data Platform (Lakehouse) | Банк, Армения

Строим корпоративную платформу данных для банка в Армении с нуля. Ищем технического лидера — играющего тренера, который возьмёт на себя всю инженерную часть платформы.

🧭 Твоя зона
Архитектор отвечает за целевую архитектуру и модель данных, ПМ — за сроки и бизнес. Ты — за то, как всё реализуется и работает каждый день.

🛠 Стек
Trino, Iceberg, MinIO (S3), dbt, Airflow, Kafka/Debezium, OpenMetadata, Python, Ansible.
Всё open-source, on-premise, as code.

🤖 Как работаем
Рутинный код пишут AI-агенты. Мы вкладываемся в правила, шаблоны и проверки, с которыми агенты стабильно делают хорошо. Ты определяешь, как команда и агенты работают вместе.

📌 Задачи
▫️ Пайплайны: batch и CDC-загрузки, трансформации, оркестрация, разбор инцидентов
▫️ Технические решения: физическая модель, структура dbt-проекта, шаблоны
▫️ Команда 6–7 дата-инженеров и аналитиков: декомпозиция, ревью, найм, рост людей
▫️ Harness для AI-разработки: skills, автопроверки, CI, контекст для агентов
▫️ Качество: code review, data quality, сверка с источниками, мониторинг
▫️ Безопасность: доступы, секреты, аудит, работа с ИБ банка
▫️ Контуры Dev / UAT / Prod: релизы, перенос данных с обезличиванием
▫️ Техническая точка контакта для банка и смежных команд

✅ Ждём
▫️ 7+ лет в data engineering, из них 2+ года техлидом
▫️ Готовность много писать код самому
▫️ Сам строил DWH или Lakehouse и знаешь, где всё ломается
▫️ Экспертный SQL, уверенный Python, моделирование данных (SCD, историчность)
▫️ Iceberg / Trino / Spark, dbt, Airflow или аналоги
▫️ Умение обосновать решение и разложить компромиссы
▫️ Опыт в банке или зарегулированной среде

⭐️ Плюсом
CDC (Debezium / Kafka Connect), Ansible или другой IaC, платформа с нуля

💼 Условия
▫️ Удалённо, поездки в Ереван 1–2 раза в месяц на 2–3 дня — логистику и проживание оплачиваем
▫️ Оформление через ИП
▫️ Зарплата обсуждается индивидуально

📩 Резюме и вопросы: ••••••••

Соц.сети

Data Engineer (инженер данных)

750 000–1 000 000 KZT (≈ 140k–187k ₽)КазахстанАстанаОфис

#вакансия #астана #оффлайн #workITkz #dba, #dsml, #python
Должность: Data Engineer (инженер данных)
Компания: ••••••••
••••••••
Город: Астана
Занятость: оффлайн
Оплата: •••••••• тенге

Мы являемся молодой и амбициозной динамично развивающей компанией, которая была создана в 2020 году. Наша компания является поставщиком IT услуг и оборудований в различных отраслях.

Продукты и услуги, предлагаемые компанией •••••••• совместно с партнерами, включают в себя широкий спектр решений: от серверов, операционных систем, систем мониторинга, виртуализации, конвергентных/гиперконвергентных систем, систем хранения данных, систем резервного копирования, решений для центров обработки больших объемов данных, решения для обеспечения безопасности и «облачных» вычислений в сфере IT до телекоммуникационных ресурсов.
Описание вакансии:
Python, SQL, Oracle, SQL Server, MySQL, PostgreSQL, IBM Db2, Hadoop/Hive, Greenplum, Apache Kafka. Источники данных — реляционные базы, HTTP API (GET и POST), потоки Kafka и файлы в форматах JSON, XML, CSV и геопространственных форматах.
Ищем Data Engineer на проект единой цифровой платформы для мониторинга и управления операционной деятельностью крупной транспортно-логистической компании. Платформа объединит данные из разных систем для анализа операционных показателей и поддержки управленческих решений.

Нужен практический опыт разработки пайплайнов на Python и SQL, интеграции данных из баз, API, потоков и файлов, а также создания аналитических витрин. Важно уметь настраивать проверки качества данных, разбираться в причинах расхождений и готовить данные для дашбордов.
хороший английский (китайский будет плюсом)

Предстоит работать с командой и заказчиком на всех этапах проекта - от проработки бизнес-требований и проектирования до внедрения и запуска в эксплуатацию.

- Официальное трудоустройство согласно ТК РК
- График работы: 5/2, с 09:00 до 18:00

Контакты:
Telegram ••••••••
Whatsapp ••••••••

hh.ru
Зарплата не указанаРоссияМоскваОфис

Мы ищем инженера, способного вместе с нами создавать и развивать продукт «Early Warning System», а также СПР-систему для ММБ Индии.

Наши основные задачи:

  • создание автоматизированного процесса своевременного выявления негативных тенденций в деятельности контрагентов на ранних стадиях на основании автоматизированной обработки большого объема данных из различных источников с использованием алгоритмов и моделей с применением технологий искусственного интеллекта
  • создание автоматизированного рабочего места подразделения мониторинга на целевых платформах Банка, обеспечив максимальную эффективность сотрудников для выполнения их функционала по мониторингу корпоративных клиентов
  • разработка высоко нагруженного микросервиса Системы принятия решений (СПР) на Java/Scala для автоматического одобрения кредитных заявок в реальном времени с интеграцией ML-моделей и БКИ через Apache Kafka.

Обязанности

  • проектирование, разработка и поддержка инфраструктуры для хранения и обработки больших данных
  • проектирование и настройка ETL-процессов, используя внутренние и внешние источники данных
  • проводить аналитику и периодические выгрузки данных для заказчиков
  • создавать SQL скрипты для работы с БД PostgreSQL.

Требования

  • знание англ.яз. на уровне B1 или выше (готовность подтягивать его и использовать в будущем в работе)
  • отличное знание SQL
  • знание одного из языков Scala/Java. Плюсом будет знание Python
  • опыт работы с большими данными: Hadoop, Spark, Kafka.
  • знание алгоритмов и структур данных
  • понимание принципов проектирования и разработки баз данных
  • опыт работы с БД PostgreSQL, оптимизация запросов

будет плюсом:

  • навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
  • опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
  • инструментальное владение AI для анализа, генерации и автоматизации.
  • навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.

Условия

  • комфортный современный офис рядом с м. Кутузовская
  • ежегодный пересмотр зарплаты, годовая премия
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • программа адаптации и помощь руководителя на старте (для Junior позиций)
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
  • подписка Прайм с возможностью совместного использования на трёх близких
  • вознаграждение за рекомендацию друзей в команду Сбера.
hh.ru
мегафон, it

Data Engineer

мегафон, it
Зарплата не указанаРоссияМоскваУдалёнка

Срочный трудовой договор до 31.12.2029г.

Команда технологического развития корпоративного хранилища данных, которая проводит масштабную миграцию ETL-процессов с Oracle Data Integrator (ODI) на Apache Airflow

Стек: Apache Airflow, Python, SQL, Hadoop, Spark (PySpark), Kafka, Oracle, GreenPlum/PostgreSQL, Clickhouse, Trino, Superset, Prometheus, Grafana, Git, Docker, Jira, Confluence

Чем предстоит заниматься

  • Анализировать пакеты ODI, извлекать метаданные, фиксировать бизнес-логику. Реверс-инжиниринг ODI сценариев
  • Проектировать и реализовывать миграцию. Переводить ETL-логику из ODI в DAG`и Apache AirFlow
  • Разрабатывать ETL/ELT-пайплайны
  • Обеспечивать качество данных (DQ-проверки), настраивать алерты, дашборды мониторинга
  • Управлять артефактами, CI/CD. Настраивать пайплайны деплоя DAG-ов, версионирование кода (Git), листинг, тестирование (unit/integration), управлять зависимостями (включая whl-пакеты для PySpark-компонентов)
  • Документировать и передавать знания

Что для этого нужно

  • Образование – высшее техническое, математическое или экономическое
  • Опыт работы от 3 лет в роли дата-инженера
  • Практический опыт миграции или глубокой поддержки ETL-решений (ODI, Informatica, SSIS и т.п.) – понимание структуры пакетов, переменных, маппингов, планировщиков
  • Уверенные знания и опыт практического применения: Python для написания DAG-ов и кастомной логики; SQL – сложные запросы, оптимизация кода; PySpark для пакетной обработки данных; Git, базовые навыки CI/CD, понимание версионирования и тестирования кода
  • Опыт с Apache Airflow – архитектура, DAG-дизайн, операторы, хуки, сенсоры, обработка ошибок, backfill, переменные/конфиги
  • Работа с контейнеризацией (Docker) и деплоем DAG-ов в контейнерной среде
  • Навыки формирования Python-пакетов для переносимости Spark-логики
  • Знание dbt, инструментов моделирования данных и подходов к слоям DWH
  • Опыт настройки мониторинга (Prometheus/Grafana, AirFlow UI)

Трудоустройство в аккредитованную ИТ-компанию ООО «МегаТех»

Соц.сети

Data Engineer

Неизвестный работодатель
Зарплата не указанаУзбекистанТашкентОфис

Data Engineer
📍 Ташкент, Узбекистан | Офис, полная занятость

ЗАДАЧИ
• Подключение источников данных (БД, файлы, CDC), инкрементальные загрузки
• Трансформации между слоями хранилища и проектирование аналитических витрин
• Разработка и поддержка пайплайнов в оркестраторе
• Контроль качества данных: тесты, полнота, идемпотентность загрузок
• Оптимизация производительности: партиционирование, форматы таблиц, планы выполнения
• Code review, CI/CD, документация, data lineage

ТРЕБОВАНИЯ
• Опыт Data Engineer в промышленных проектах от 2 лет
• Продвинутый SQL, Python для обработки данных
• Spark или аналоги: партиции, shuffle, планы выполнения
• dbt и Airflow или аналоги
• Iceberg, Delta или Hudi; CDC-загрузки
• Моделирование данных: звезда, снежинка
• Git, CI/CD
• Русский свободный, английский для чтения документации

Будет плюсом: банковская сфера или платёжные системы, IOMETE, Databricks, Trino, Data Vault 2.0, Kubernetes, Great Expectations или Soda, BI (Qlik, Tableau, Power BI)

Писать в лс ln или телеграм ••••••••

Сайты компаний
яндекс

Инженер данных в Marketing DWH

яндекс
Зарплата не указанаРоссияМосква

Мы развиваем Marketing DWH — хранилище данных для маркетинга Яндекса. Нам нужен дата‑инженер, который поможет пересобрать архитектуру хранилища. Это нужно, чтобы аналитики и ИИ‑агенты могли находить нужные витрины, понимать, как рассчитаны показатели, и проверять результаты.

У нас есть направление R&D, к которому можно подключиться. Мы проверяем, как структура данных, описания витрин и способы доступа влияют на скорость и точность работы агентов. Например, можно сравнить несколько вариантов описания одной витрины и посмотреть, при каком из них агент чаще выбирает правильный источник. Подходы, которые показывают результат на реальных задачах, можно внедрить в Marketing DWH.

Пересборка архитектуры хранилища

Вы будете разбираться, как данные движутся от источников до витрин, обновлять модели данных и переносить на них расчёты. Вам предстоит устранять дублирование, ускорять запросы и проверять, как изменения сказываются на результатах расчётов и расходе ресурсов.

Настройка работы ИИ‑агентов

Вы будете настраивать поиск витрин и доступ к маркетинговым данным, а затем проверять, как агенты справляются с реальными аналитическими задачами. Например, агент должен сравнить две кампании: подобрать сопоставимые данные, верно рассчитать показатели и указать источники, чтобы результат можно было воспроизвести.

Правила Data Governance

Вы будете вместе с коллегами определять, кто отвечает за данные в маркетинговом домене, как описывать витрины и какие требования предъявлять к их качеству и свежести. Затем поможете внедрить правила на практике — например, добавите автоматические проверки в пайплайны и настроите оповещения об отклонениях.

Переход к расчётам в реальном времени

Вы поможете перевести часть расчётов на потоковую обработку: определите, для каких сценариев данные нужны с минимальной задержкой, и спроектируете обработку событий.

Больше о разработке в Яндексе — в канале Yandex for Developers

* Уверенно пишете на SQL и Python
* Разбираетесь в причинах проблемы, сравниваете варианты и можете объяснить, почему выбрали конкретное решение
* Самостоятельно доводите задачу до реализации и проверяете, что решение работает как задумано

* Работали с Kafka или другими системами обмена сообщениями и понимаете, как устроена потоковая обработка
* Писали на C++
* Внедряли практики Data Governance, развивали каталог данных или автоматизировали проверки качества
* Подключали ИИ-агентов к источникам данных или оценивали качество их ответов

hh.ru
агентство цифровой трансформации
Зарплата не указанаБеларусьМинскОфис

Ключевые задачи:

Осуществлять разработку и поддержку процессов ETL/ELT для загрузки данных в базы данных.
Создавать структуры баз данных и определять параметры хранилищ данных.
Осуществлять автоматизацию процессов обработки и загрузки данных.
Осуществлять анализ данных с очисткой от ошибок и дубликатов.
Осуществлять подготовку датасетов из больших объемов данных для анализа.
Выполнять организацию инфраструктуры для хранения и управления данными.
Осуществлять построение конвейеров обработки данных.
Выполнять настройку среды и обучение моделей машинного обучения на подготовленных данных.

Мы ожидаем:

Знание Python или R, SQL.
Понимание работы с API, процессов ETL/ELT, аутентификации и авторизации.
Знание инструментов и технологий Big Data.
Опыт работы с контейнеризацией (Docker).
Знание систем контроля версий (Git/GitLab).
Опыт работы с Linux системами.
Знание BI-инструментов.
Опыт работы с облачными сервисами.
Опыт работы с брокерами сообщений (Kafka, RabbitMQ).

Будет преимуществом:

Опыт применения инструментов машинного обучения и нейронных сетей.
Практический опыт работы с BI-инструментом Apache SuperSet.
Знание Apache Druid, Arenadata DB, Apache Cassandra.

Мы предлагаем:

Финансовая мотивация и гарантии:
Конкурентная заработная плата
Официальное трудоустройство (ТК РБ), полный соцпакет
28 дней отпуска + матпомощь на оздоровление
Медицинская страховка

Профессиональное развитие:
Оплата курсов, конференций и семинаров

Корпоративная культура:
Современный офис в центре Минска
Качественное оборудование
График работы (пн.–чт. 9:00–18:00, пт. 9:00–16:45)
Корпоративы, подарки сотрудникам на значимые даты
Уютные зоны отдыха с игровыми пространствами
Корпоративная программа занятий спортом (All Sports)

*Данная вакансия является планируемой к созданию (перспективной).

hh.ru
газпром информ

Python разработчик

газпром информАвтоподнятие
Зарплата не указанаРоссияСанкт-ПетербургОфис

ООО "Газпром информ" - аккредитованная IT компания, 100% дочерняя сервисная компания ПАО «Газпром», осуществляющая комплексное обслуживание пользователей, сопровождение информационных систем и ИТ-инфраструктуры.

Обязанности:

  • Проектирование, разработка и внедрение аналитических систем для газового бизнеса;
  • Разработка ETL, модулей расчета показателей на SQL/Python/Fore;
  • Разработка хранилища данных;
  • Разработка модулей интеграции на Python/Fore (файловая, из систем-источников);
  • Оптимизация потоков данных;
  • Разработка регламентных отчетов и форм ввода;
  • Разработка аналитических отчетов и дашбордов;
  • Техническая поддержка пользователей.

Требования:

  • Высшее образование;
  • Опыт работы по направлению деятельности не менее 3х лет;
  • Глубокое знание языков: Python, SQL;
  • Опыт работы с Python библиотеками: Flask/Django, SQLAlchemy, Openpyxl

Дополнительные преимущества:

  • Опыт самостоятельного деплоя;
  • Опыт разработки вэб-приложения;
  • Опыт работы со сваггером;
  • Навыки систематизации и структурирования информации. Умение делать выводы, находить главное, быстро предлагать решения и их обосновывать;
  • Навыки формализации требований;
  • Опыт анализа данных и создания аналитических отчетов;
  • Понимание общих принципов работы бизнес-процессов в области управления данными;
  • Навыки работы в условиях многозадачности и с большим объемом информации.

Условия:

  • Официальное трудоустройство;
  • Ежегодная индексация заработной платы;
  • Годовая премиальная выплата;
  • Выплаты и компенсации в соответствии с Коллективный договором;
  • ДМС со стоматологией после прохождения испытательного срока
  • Материальная помощь к отпуску;
  • Премия ко Дню нефтяника;
  • 5/2, 9.00-18.00 (пятница — до 16.45);
  • Санкт-Петербург, пл. Победы, д.2, лит. А, корп. 1, БЦ «Виктория Плаза», 100% офисный формат.
Сайты компаний
мегафон

Менеджер по развитию корпоративных данных

мегафонАвтоподнятие
Зарплата не указанаРоссияМосква

Обязанности

Мы находимся в активной фазе масштабного проекта по миграции КХД с платформы Oracle на иной технологический стек

Ключевые технологии стека:

Greenplum (GP) — как основное ядро хранилища

ClickHouse (CH) — для задач аналитики и хранения данных временных рядов

Trino — как основной инструмент для распределенных SQL-запросов и ad-hoc аналитики

Hadoop (HDFS) — для хранения и обработки больших объемов неструктурированных данных (через Hue)

Мы ищем коллегу, который сможет применить свои навыки и знания для успешной реализации этого проекта.​​​​​


Чем предстоит заниматься

  • Взаимодействие с отделом архитектуры и разработки ETL по вопросам перепроектирования витрин, разметки таблиц/полей для РМД, проработке изменений методологии расчета срезов и KPI, консультирование по логике полей
  • Проработка вопросов SLA по готовности данных, глубины хранения и пересчетов
  • Взаимодействие с бизнес-владельцами/пользователями по вопросам актуализации бизнес-владельцев, согласования изменений в наборности полей, отказа от устаревших полей, определение юзкейсов использования, актуализация регламентов
  • Проработка вопросов по НСИ (дополнение справочников, замена справочников, создание доп. маппингов и т.д.)

Требования

  • Опыт работы с Greenplum, ClickHouse и Trino (понимание их архитектурных особенностей, сценариев применения, проектирования моделей данных)
  • Опыт работы с Oracle: архитектура, PL/SQL
  • Не обязательно, но желательно: опыт работы с экосистемой Hadoop (HDFS, Hive), использование Hue
  • Опыт участия в аналогичном проекте будет плюсом
  • Системное мышление: Способность видеть картину целиком — от бизнес-требований до физической реализации на уровне таблиц и партиций
  • Готовность работать фулл тайм офис (Оружейный переулок, 41)
  • Готовность работать на срочном трудовом договоре
Сайты компаний
A

Data Engineer

aviasalesАвтоподнятие
Зарплата не указанаНе указана странаЛокация не указана

Наша команда инфраструктуры аналитики помогает аналитикам делать свою работу. Мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации.


В компании много самодостаточных команд. В каждой команде свои сервисы, свои разработчики и аналитики. Так что у нас достаточно потоков данных самого разнообразного формата и объема. Это данные о букингах, на которые смотрит вся компания, и каждая запись проверяется чуть ли не руками, а еще — данные о билетах объемом более терабайта в сутки. Это требует разных подходов с нашей стороны.


  • Наша платформа основана по принципам LakeHouse архитектуры. Наш стек: Spark, Trino, AWS S3, DeltaLake format, DBT, Kafka, Airbyte, Apache Airflow, DataHub.
  • Тестирование и сборка производятся на CI сервере (Jenkins). Также присутствует Terraform. Деплой в Kubernetes(EKS в AWS). Настройкой серверов и разворачиванием баз мы не занимаемся. Это делает отдельная команда инфраструктуры.

Нам нужен еще один дата инженер в нашу дружную команду, который в ближайшей перспективе будет сфокусирован на задачах одной из продуктовых команд.

Задачи

  • подключать новые источники и разрабатывать/модернизировать data pipelines;
  • настраивать и поддерживать аналитическое окружение;
  • отправлять и обмениваться данными с внешними и внутренними сервисами;
  • модернизировать текущую дата платформу вместе с core командой дата инженеров;
  • работать в паре с еще одним продуктовым дата инженером.

Требования

  • опыт работы инженером данных от 2 лет;
  • отличное знание Python, SQL;
  • опыт разработки процесса для тестирования данных
  • умение строить высоконагруженные streaming и batch пайплайны
  • опыт работы в нашем стеке Apache Spark, Apache Airflow, Trino будет плюсом;
  • опыт работы с Kubernetes, Terraform и с AWS приветствуется
  • самостоятельность и ответственность, умение коммуницировать с разными командами и людьми
  • желание развиваться и выстраивать процессы вокруг себя;
  • навыки работы с ИИ агентами ( Claude Code, Codex и тд).

Условия

  • в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;
  • без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;
  • компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;
  • на райском острове: можно работать на Пхукете с видом на океан.
hh.ru
Зарплата не указанаРоссияМоскваУдалёнка

Ищем Главного инженера данных, который будет развивать
рисковое хранилище данных и участвовать в разработке процессов для
бюро кредитных историй.

Проект: хранилище данных для управления рисками (SQL, Pentaho,
PostgreSQL) и аналитика для бюро кредитных
историй (важен опыт в банке и уверенное написание SQL-запросов).

Команда: 8 человек — аналитики и дата-инженеры.

Чем предстоит заниматься:

Разработкой на уровне БД PGSQL:

  • структуры данных, связей, индексов;
  • бизнес-витрин данных;
  • механизмов генерации и упаковки данных для бюро кредитных историй;
  • отчётности (функциональная, техническая).


Разработка в Pentaho:

  • настройка ETL-процессов.
Наши ожидания:
  • Образование: высшее техническое (либо подтверждённый релевантный опыт).
  • Экспертные знания SQL и PGSQL;
  • Работа с JSON, XML (парсинг, сборка);
  • Понимание микросервисной архитектуры.
hh.ru
мтс, работа в it

Middle Data Engineer (МГТС)

мтс, работа в it
Зарплата не указанаРоссияМоскваГибрид

МГТС — основной телекоммуникационный партнер Города Москвы и часть экосистемы МТС. Проектируем, строим и эксплуатируем передовую телекоммуникационную инфраструктуру, развиваем и внедряем сети нового поколения, реализуем комплексные решения для Умного города.

Мы ищем Middle Data Engineer в отдел анализа коммерческой деятельности и управления данными. Команда отвечает за аналитику коммерческой деятельности и управленческую отчётность для нескольких подразделений: кор-бизнеса (связь, кабельная инфраструктура), направления по работе со спецпользователями и департамента PropTech (сервисы для недвижимости — от прокладки кабелей до продуктов вроде «Индор» и DTS).

Чем предстоит заниматься:

  • проектировать и развивать архитектуру хранилища и витрин данных отдела — от подключения источников до передачи данных в отчётность
  • разрабатывать логические модели данных, выделять сущности, проектировать таблицы и справочники
  • оптимизировать структуру хранения под задачи аналитики и отчётности
  • настраивать загрузку данных из действующих информационных систем, хранилищ и Excel-шаблонов
  • разрабатывать процессы преобразования и загрузки данных в хранилище.
  • переводить ручную обработку файлов на регулярные автоматические загрузки
  • настраивать расписание и уведомления о сбоях, диагностировать ошибки и восстанавливать загрузки без дублирования данных
  • проверять и очищать исходные выгрузки, в том числе Excel-файлы с десятками тысяч строк
  • выявлять дубли и пропуски, проверять связи между таблицами, поддерживать актуальность справочников
  • сверять загруженные данные с источниками и разбирать расхождения совместно с аналитиками и владельцами данных
  • разработка и сопровождение отчётности в Power BI
  • создавать и развивать модели данных, расчётные меры и дашборды по проектам, бюджетам, KPI и себестоимости
  • сопровождать обновление отчётов и проверять корректность показателей при изменении источников или правил расчёта
  • согласовывать правила расчёта показателей с аналитиками и бизнес-заказчиками
  • описывать источники данных, архитектуру хранилища, структуру витрин и правила преобразования данных
  • документировать расписание загрузок и порядок действий при сбоях


Что мы ждем от кандидата:

  • уверенный SQL — сложные запросы, создание таблиц и представлений, анализ планов выполнения и оптимизация. MS SQL Server и T-SQL желательны

  • архитектура и моделирование данных — опыт проектирования хранилищ, витрин и логических моделей данных
  • автоматизация загрузок — настройка расписания, обработка ошибок и повторные запуски без дублей. Airflow, SQL Server Agent или аналог
  • python — автоматизация обработки данных, pandas, основы объектно-ориентированного программирования
  • power BI — модели данных, меры на DAX, Power Query и визуализация
  • excel — средний или продвинутый уровень, включая Power Query, сводные таблицы и сложные формулы
  • git — базовые навыки работы с версиями SQL-скриптов и Python-кода

Мы предлагаем:

  • оформление в штат компании;
  • оклад + полугодовая и годовая премия при целевом выполнении KPI;
  • пятидневная рабочая неделя с пн по пт, пт - сокращенный рабочий день;
  • ДМС с первого месяца работы, включая стоматологию, а еще оплачиваем 50% стоимости полиса ДМС для родственников;
  • страхование от несчастных случаев с 1 месяца работы, материальная помощь в сложных жизненных ситуациях;
  • прием врачей общей практики и массаж в офисе и консультация психологов и программа поддержки сотрудников;
  • отпуск 28 календарных дней;
  • компенсация расходов на выбор сотрудника, например, на спорт, ипотеку или питание;
  • специальные предложения от партнеров и скидки от продуктов экосистемы МТС;
  • мобильная связь за счет компании и льготные тарифы для близких;
  • подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети;
  • собственный корпоративный университет, онлайн-библиотека и оплачиваемое внешнее обучения для карьерного развития.

# Data Engineer # Python # SQL

Соц.сети

Middle+ Data Engineer

Неизвестный работодатель
Зарплата не указанаРоссияУдалёнка

ID 3924 - Middle+ Data Engineer

🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм

❗️Готовность оформления на 0,5 к заказчику

🏢 Проект: Банк
Автоматизация резервного копирования данных Hadoop.

💡 Требования:
- Практический опыт разработки и сопровождения процессов обработки данных на Apache Flink: работа с потоками данных, состоянием задач, checkpoint/savepoint, обработкой ошибок и перезапуском заданий.
- Опыт работы с экосистемой Hadoop, прежде всего HDFS: организация хранения данных, работа с файлами и каталогами, понимание распределённого хранения и отказоустойчивости.
- Опыт разработки пайплайнов данных, настройки расписаний и зависимостей, контроля успешности выполнения.
- Уверенное владение SQL и одним из языков разработки пайплайнов - Python, Java или Scala.
- Понимание принципов резервного копирования и восстановления данных: целостность копий, повторный запуск после сбоя, контроль пропущенных и дублирующихся данных.
- Опыт диагностики ошибок обработки данных по логам и метрикам, поиска причин сбоев и оптимизации производительности пайплайнов.
- Опыт работы с Git, участия в code review и ведения технической документации.

📌Желательно
- Опыт работы с Hive и другими компонентами Hadoop.
- Опыт интеграции Flink с Kafka и источниками данных в Hadoop.
- Опыт работы с Apache Airflow, Spark, S3-совместимыми хранилищами.
- Опыт настройки мониторинга и алертинга в Grafana/Prometheus.

📨 Отклик — через форму: •••••••• или напрямую рекрутеру ••••••••

❗️Откликайтесь только при релевантном опыте.

❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями

❗️Повторный отклик: ID вакансии + сверка.

#Data #Engineer #Удаленно #вакансия

Соц.сети

Data Engineer (Senior)

300k–350k ₽ПольшаКипрГерманияНидерландыИспанияПортугалияЧехияЛюксембургЛатвияЛитваЭстонияВенгрияРумынияФинляндияФранцияАвстрияГрецияДанияИталияСловакияУдалёнка

#вакансия #fulltime #удаленнаяработа #remote #Senior #Data #Engineer

Позиция: Data Engineer (Senior)
Вилка: ••••••••
Занятость: Полная
Формат работы: Удаленный
Локация: ЕС
Оформление: ИП
Компания: ••••••••

Привет! Меня зовут Александр. Я представляю группу компаний ••••••••.
Мы занимаемся трудоустройством IT специалистов на проектную занятость.
На данный момент мы в поиске Data Engineer


➕Требования:
- Большой опыт работы с хранилищами данных, архитектурой данных и моделированием данных.
- Отличные навыки работы с SQL.
- Практический опыт работы со Snowflake и dbt Core.
- Знание Data Vault 2.0 и Databricks.
- Опыт работы с Apache Airflow и Azure DevOps.
- Понимание процессов ETL/ELT и интеграции данных.
- Отличные навыки командной работы, коммуникации и решения проблем.

Языки: английский C1;
немецкий B2

➕Желательно:
- Python для обработки данных и автоматизации.
- Опыт работы с ИИ-помощниками для написания кода (Claude Code, GitHub Copilot).
- Опыт работы с проектами по миграции и модернизации платформ данных.

Основной набор инструментов: Snowflake, dbt (Core), Airflow, Azure DevOps, позднее — Databricks.

📞Резюме направлять сюда ••••••••

Смотрите также в каталоге

Хотите персональную подборку?

Введите свои критерии — мы отфильтруем вакансии по вашим требованиям

Найти подходящие вакансии →