Вакансии Data Engineer и инженера данных
Построение потоков данных, хранилищ и ETL/ELT-пайплайнов. Анализ данных и моделирование представлены в соседних разделах. Обновляется каждый час. Найдено: 107 вакансий за последнюю неделю.
- Вакансий за неделю:
- 107
- Медиана:
- 300 000 ₽
- Вилка:
- 200 000 ₽ — 395 000 ₽
Зарплаты — по 109 вакансиям с указанной вилкой за 30 дней
Поиск вакансий
HireSeeker — агрегатор вакансий. Собираем вакансии со всех основных площадок и показываем по вашей специальности. Подпишитесь на ежедневную подборку только релевантных.
Наша команда отвечает за качество моделей TTS в GigaChat – той части нейросети, которая занимается звуком. Сейчас мы ищем ребят, которые будут работать над базовым качеством, мультимодальным Гигачатом и другими классными проектами.
Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!
Писать пайплайны обработки аудио/видео данных.
Хотим обрабатывать десятки тысяч часов в день на кластере
инферить опенсорсные и внутренние модели на гпу (денойзер, распознавание, тулы для оценки качества аудио)
поддержка сетевого хранилища данных
-
python и алгоритмы на хорошем уровне
-
опыт с multithreading и multiprocess
-
опыт обучения и/или инференса тяжелых моделей на нескольких гпу
-
s3, dvc, git
-
гибридный или удаленный формат работы
-
ежегодный пересмотр зарплаты и годовая премия
-
корпоративный спортзал и зоны отдыха
-
более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
-
расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
-
гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
-
бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
Кадровый центр Министерства здравоохранения Московской области предлагает вакансию инженера данных (ClickHouse / Airflow / Python) в ГБУ МО «МИАЦ».
ГБУ МО «МИАЦ» (Медицинский информационно-аналитический центр) — подведомственная организация Министерства здравоохранения Московской области. Мы обеспечиваем сбор, обработку и анализ медицинских данных, внедряем и сопровождаем региональные информационные системы в сфере здравоохранения.
Кого мы ищем:
Нам нужен инженер данных, который умеет строить и сопровождать витрины и загрузку данных, проверяет каждый результат на данных и готов вести студентов. Отдел переводит работу с ручных выгрузок на региональное аналитическое хранилище медицинских данных (сотни таблиц, крупнейшие — сотни миллионов строк) и ИИ-агента, которым пользуются аналитики министерства и медицинских организаций.
Чем предстоит заниматься:
- Разрабатывать витрины регионального аналитического хранилища медицинских данных на ClickHouse: изучать данные источников (ЕМИАС, скорая помощь, льготное лекарственное обеспечение и др.), собирать витрины, описывать их колонки;
- Разрабатывать и сопровождать загрузку данных в хранилище на Apache Airflow: инкрементальная загрузка из MS SQL Server (Change Tracking) и PostgreSQL, снимки таблиц, контроль свежести данных;
- Переводить регулярные ручные выгрузки отдела (десятки повторяющихся задач) на автоматические расчёты по расписанию со сверкой с результатами прежних скриптов;
- Обеспечивать качество данных: сверять хранилище с источниками по медицинским организациям, проводить аудит слоёв хранилища, выявлять и устранять расхождения;
- Участвовать в развитии ИИ-агента «Оперативная аналитика» (вопрос на русском языке → SQL-запрос к хранилищу → ответ): утверждённые определения показателей, инструменты агента, проверка ответов на реальных вопросах аналитиков;
- Наставлять студентов-стажёров отдела и проводить ревью их кода.
Что мы ждём от вас:
- Высшее техническое или математическое образование (прикладная математика и информатика, информатика и вычислительная техника, программная инженерия, прикладная информатика, статистика и анализ данных) либо профессиональная переподготовка по направлению «Анализ данных» или «Инженерия данных»;
- Опыт работы от 1 года;
- Уверенное знание SQL: оконные функции, CTE, оптимизация запросов, чтение плана выполнения;
- Опыт работы с таблицами объёмом в сотни миллионов строк;
- Опыт работы с аналитической СУБД (ClickHouse, Greenplum, Vertica, BigQuery и т. п.) либо готовность освоить ClickHouse в течение трёх месяцев при сильном знании SQL;
- Python для работы с данными: pandas, работа с базами данных из кода, автотесты (pytest); аккуратный код в git;
- Linux на уровне уверенного пользователя; Docker — запуск контейнеров и чтение docker-compose;
- Привычка проверять результат на данных и документировать его на русском языке;
- Ответственное отношение к персональным данным, готовность работать в закрытом контуре сети.
Будет преимуществом:
- Apache Airflow или другой оркестратор;
- MS SQL Server (T-SQL), PostgreSQL;
- LangChain / LangGraph, работа с LLM через OpenAI-совместимый API, FastAPI;
- Опыт работы с ИИ-ассистентами разработки;
- Медицинская информатика, ЕМИАС, ОМС.
Условия:
- Официальное оформление по ТК РФ;
- Испытательный срок — 3 месяца;
- Полный рабочий день;
- График работы: Пн–Чт 9:00–18:00, Пт 9:00–16:45;
- Комфортабельный бизнес-центр класса А «Кубик», м. Мякинино, 7–10 минут пешком;
- Доход месячный средний по году (с учетом системы премирования) — 200 000 руб. до вычета налогов.
Почему стоит пойти к нам:
- Работа с действующей платформой данных региона, у которой есть реальные пользователи, собственные GPU-серверы и языковые модели;
- Современный документированный стек, свобода в выборе инструментов, включая ИИ-ассистентов разработки;
- Возможности для профессионального и карьерного развития — до архитектора данных или руководителя направления ИИ-агентов;
- Социально значимая отрасль: Вы будете работать над проектами, от которых напрямую зависит качество медицинской помощи в Московской области. Это не абстрактный бизнес — это реальные врачи и пациенты;
- Команда профессионалов. Вы станете частью сильной команды, где есть у кого учиться и с кем расти.
Ищем ETL-разработчика в банковский проект.
Описание проекта:
Перенос функциональности ЦФТ на КХД в рамках импортозамещения ЦФТ.
Обязанности:
— Разработка на Oracle;
— Разработка DAG на Airflow;
— Разработка и поддержка ETL/ELT-процессов: извлечение данных из различных источников, трансформация и загрузка в хранилище;
— Работа с реляционными СУБД (PostgreSQL, Oracle);
— Работа с Git и ветками (GitFlow).
Требования:
— Навыки разработки на Oracle;
— Навыки разработки DAG на Airflow;
— Знание SQL (JOIN, индексы, агрегатные функции, навыки оптимизации);
— Опыт работы с реляционными СУБД (PostgreSQL, Oracle);
— Навыки разработки и поддержки ETL/ELT-процессов: извлечение данных из различных источников, трансформация и загрузка в хранилище;
— Знание Git и умение работать с ветками (GitFlow).
Условия:
— Локация: РФ (обязательно);
— Удалённая работа;
— Официальное оформление;
Data Engineer
Местоположение: Ташкент, Узбекистан
Формат работы: Офис
Опубликована: ••••••••
Требования:
• Опыт Data Engineer в промышленных проектах от 2 лет
• Продвинутый SQL, Python для обработки данных
• Spark или аналоги: партиции, shuffle, планы выполнения
• dbt и Airflow или аналоги
Контакт: ••••••••
•••••••• опубликована в ••••••••
Data engineer #алматы
#FreedomHolding
#3п от 1,2 млн и выше
#tg @kzk888 Обязанности
- Разработка и сопровождение ETL/ELT-пайплайнов на Python и Apache Airflow.
- Разработка и оптимизация SQL-запросов в Greenplum.
- Построение потоковой обработки данных с использованием Apache Kafka.
- Интеграция данных из различных источников: БД, REST API, файловые системы.
- Разработка REST API и микросервисов на FastAPI.
- Проектирование структур данных, витрин и моделей хранения в DWH.
- Оптимизация производительности загрузки и обработки больших объёмов данных.
- Настройка мониторинга, логирования и обработки ошибок в пайплайнах.
- Обеспечение качества, целостности и актуальности данных.
Требования
- Опыт работы Data Engineer от 3 лет.
- Уверенное знание Python (обработка данных, интеграции, автоматизация).
- Продвинутый SQL: сложные запросы, оконные функции, CTE, оптимизация.
- Практический опыт работы с Greenplum или PostgreSQL.
- Опыт разработки DAG в Apache Airflow.
- Понимание принципов работы Apache Kafka: topics, partitions, consumer groups, offsets.
- Опыт разработки REST API на FastAPI.
- Понимание архитектуры DWH, ETL/ELT и принципов построения Data Pipelines.
- Опыт работы с Git и Linux. Мы предлагаем:
ДМС
Внешнее обучение
Компенсация за фитнес
Скидки, бонусы от компаний входящих в холдинг
О роли
Ищем инженера, который глубоко понимает базы данных и умеет строить системы, переваривающие непрерывный поток данных. Мы разрабатываем системы мониторинга и управления транспортом: каждую секунду к нам приходят тысячи событий от устройств, и их нужно быстро принять, сохранить и отдать в аналитику.
Стек: PostgreSQL, ClickHouse, Go. Опыт именно в транспорте или GPS не обязателен — важнее инженерная база и умение работать с нагруженными данными.
Задачи:
- Проектирование и развитие хранилищ данных на PostgreSQL и ClickHouse под высокую нагрузку на запись и чтение.
- Приём и обработка непрерывных потоков телеметрии: буферизация, дедупликация, работа с опоздавшими событиями.
- Оптимизация запросов и схем данных: поиск узких мест и их устранение по метрикам.
- Разработка и поддержка сервисов на Go.
- Участие в архитектурных решениях и код-ревью.
- Работа с ИИ-агентами как с основным инструментом разработки.
- Глубокое знание PostgreSQL: чтение планов запросов (EXPLAIN ANALYZE), индексы, партиционирование, MVCC, vacuum, блокировки.
- Опыт с колоночными СУБД, лучше всего с ClickHouse: движки MergeTree, ключи сортировки и партиционирования, материализованные представления, пакетная вставка.
- Умение проектировать модель данных от сценариев чтения: «горячие» и исторические данные, предагрегация, сроки хранения.
- Привычка измерять: профилирование, нагрузочное тестирование, решения на основе цифр.
- Формат работы: Официальное трудоустройство по ТК РФ. График 5/2, возможен гибридный формат работы (после успешного прохождения испытательного срока).
- Техническое оснащение: Предоставляем современный ноутбук (MacBook) и необходимую периферию для комфортной работы.
- Финансовая мотивация: Конкурентная заработная плата (обсуждается по итогам собеседования, квартальные премии по результатам работы компании и личным KPI.
- Социальный пакет: ДМС для сотрудника после испытательного срока.
- Развитие: Компенсация профильного обучения, конференций и профессиональной литературы.
Сейчас мы ищем Data Engineer
Мы ищем инженера, который будет развивать корпоративную платформу данных и DWH компании: модернизировать ETL-ландшафт, переводить процессы с SSIS на Apache Airflow 3 и внутренний Python-фреймворк, а также делать работу с данными надежнее и удобнее для аналитических команд.
Какие задачи тебя ждут:
-
Развивать корпоративную платформу данных и DWH;
-
Переводить существующие ETL-процессы с SSIS на Apache Airflow 3 и внутренний YAML-driven Python-фреймворк;
-
Разрабатывать и поддерживать надежные data-пайплайны;
-
Обеспечивать стабильную промышленную эксплуатацию: retry, backfill, идемпотентность, дедупликацию и корректную обработку сбоев;
-
Развивать проверки качества данных;
-
Оптимизировать SQL и работу с Microsoft SQL Server;
-
Развивать CI/CD-процессы для работы с данными;
-
Создавать переиспользуемые инструменты и self-service решения для аналитических команд;
-
Участвовать в развитии архитектуры DWH и подходов к моделированию данных.
Твоя суперсила:
-
Опыт работы Data Engineer от 3 лет;
-
Уверенный SQL и практический опыт работы с Microsoft SQL Server;
-
Python: ООП, модульная архитектура, type hints, тестирование, логирование, работа с REST API и БД;
-
Опыт работы с Apache Airflow или другим промышленным оркестратором;
-
Опыт работы с dbt или аналогичным SQL transformation framework;
-
Понимание ETL/ELT, batch- и near-real-time-обработки;
-
Умение строить надежные и отказоустойчивые data-пайплайны;
-
Опыт Git и CI/CD;
-
Опыт реализации Data Quality-проверок;
-
Понимание архитектуры DWH и организации слоев данных;
-
Знание подходов к моделированию данных: Kimball, Inmon, Data Vault, Anchor Modeling.
С нас:
- Возможность влиять на продукт, мы всегда открыты к новым идеям и обратной связи;
- Возможность быть эффективным в любой точке мира, мы работаем удаленно, но это не мешает нам быть командой (при желании, можно работать из офиса - Москва, Нижний Новгород, Ковров, Владимир);
- Дружелюбная атмосфера и открытость к новым знаниям, мы общаемся на "ты", устраиваем внутренние митапы, выступаем на конференциях, делимся опытом;
- Возможность стать амбассадором ИТ бренда, у нас есть деврел :)
- Счастливая и вовлеченная команда – держим высокий показатель удовлетворенности сотрудников (eNPS);
- Перфоманс ревью 2 раза в год с премией до двух окладов и описанные грейды;
- Забота о здоровье - для тебя есть расширенный ДМС со стоматологией, а семью можно подключить со скидкой;
- Комфортное рабочее место - выдаем технику или можешь работать на своей.
Сейчас мы в поиске Дата инженера для работы над крупным банковским проектом по валидации моделей, разработку дашбордов и отчётов в BI-системах.
Твои задачи:
Проектировать и разрабатывать дашборды и отчёты в BI-системах (Power BI, Superset)
Повышать долю процессов покрытых ии-агентами или генеративными пайплайнами (использовать LLM)
Обеспечивать наглядность и понятность представления данных для бизнес-пользователей
Формировать регулярную и ad-hoc отчётность Департамента
Поддерживать и развивать существующие отчёты и дашборды
Обеспечивать единые стандарты визуализации и дизайна отчётности
Участвовать в разработке и внедрении новых подходов к визуализации данных и отчётности
Управлять зависимостями, влияющими на своевременность построения отчётности (источники данных, доступы, смежные команды)
Что мы ждем от тебя:
Уверенное владение SQL
Опыт работы с Python
Опыт работы с BI инструментами (Power BI или иные инструменты визуализации
Знание LLM
Что мы обеспечиваем:
Внутренние семинары, внутренние митапы, мы очень любим учиться новому
ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи
Технику для комфортной работы
Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудника
Геоэффект — это аналитический сервис компании МТС, основанный на обработке обезличенных больших данных мобильного трафика и геопозиции абонентов. Он позволяет проводить детальный анализ населения, туристических потоков, посещаемости объектов и инфраструктуры с высокой точностью и частотой обновления. Сервис используется в различных отраслях, включая ритейл, банковскую сферу, туризм, транспорт, государственное управление и урбанистику, для оптимизации решений по размещению объектов, развитию инфраструктуры, анализу аудитории и повышению эффективности бизнес-процессов.
Задачи
Выгрузки, обработка гео и телеком-данных (трафик, локации нахождения абонентов);
Разработка простых ETL-процессов;
Выполнение ADHOC-задач на PySpark;
Создание сегментов пользователей;
Подготовка отчетности, обработка таблиц на PySpark
Требования
В том числе Студенты бакалавриата, специалитета или магистратуры;
Базовое знание SQL и Python;
Знание основ Hadoop и PySpark будет большим плюсом
Условия
Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах;
Профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше;
Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;
Участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре True Tech Arch;
Полезные курсы и вебинары в корпоративном университете и электронную библиотеку;
ДМС с первого месяца работы, включая стоматологию;
Страхование от несчастных случаев с 1 месяца работы. Материальную помощь в сложных жизненных ситуациях;
Отпуск 28 календарных дней (+3 дополнительных дня за ненормированный рабочий день);
Гибридный формат работы;
Прием врачей общей практики и массаж в офисе;
Мобильная связь за счет компании и льготные тарифы для близких;
Подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.
Сейчас мы в поиске Инженера данных / Analytics Engineer, который усилит нашу команду.
Обязанности:
- Формирование требований к системам на поставку данных для витрин.
- Подключение к Lakehouse: Trino / SQL / BI-слой.
- Работа с датасетами на слоях Core и Mart.
- Автопересчёт: Airflow DAG, расписания, контроль статусов.
- Сервисный слой: метаданные, DQ, аудит, эксплуатационные метрики.
- Автоматизация процессов на Python: скрипты, работа с API/файлами.
- ETL/ELT-процессы.
- Документация и передача решений в эксплуатацию.
Требования:
- Образование: высшее - ИТ, ПМИ, экономика, аналитика.
- SQL: продвинутый уровень - оконные функции, сложные JOIN, оптимизация запросов; Trino / Presto.
- Python: автоматизация, скрипты, работа с API/файлами.
- Airflow: DAG, расписания, контроль статусов.
- Lakehouse: понимание S3, Parquet, Iceberg, слоёв Landing / Raw / Core / Mart.
- Инженерия: ETL/ELT, Git, Docker, Linux.
- Данные: понимание DQ-проверок, метаданных, аудита.
- Личные качества: организованность, системность, навык документирования.
Желательно:
- Kafka / Kafka Connect (на чтение).
- ClickHouse, PostgreSQL.
- Базовый опыт BI: Superset / Power BI.
Личные компетенции:
- Системное мышление.
- Аккуратность и внимание к деталям.
- Умение работать с требованиями и документацией.
- Самостоятельность и ответственность за результат.
- Формат работы 5/2 в офисе.
- Конкурентоспособная заработная плата.
- Официальное трудоустройство по ТК РФ, бессрочный договор.
- ДМС после испытательного срока.
- Работа в профессиональной команде, открытой к сотрудничеству, идеям и инновациям.
Вам предстоит:
- Принимать участие в проектировании архитектуры хранилища данных;
- Выстраивать ETL процессы;
- Обеспечивать качество и доступность данных;
- Писать и оптимизировать сложные аналитические запросы в Clickhouse;
- Проводить Code review коллег;
- Писать бизнес-логику на Golang или Python.
Формат работы — удаленный формат.
Вы нам подходите, если:
- Владеете нашим стеком: python/go (глубокое знание языков необязательно), clickhouse (глубокое знание обязательно), kafka, redis, airflow, k8s;
- Имеете отличные знания существующих моделей хранения данных, умение рассказать о преимуществах и недостатках каждого;
- Имеете богатый опыт работы с Clickhouse, умеете писать и оптимизировать сложные аналитические запросы;
- Владеете опытом работы с большими данными (>10 Tb за сутки);
- Желаете получить коммерческий опыт разработки на Golang.
#удаленка #techlead #dataengineer #DWH #банк
🚀 Tech Lead Data Platform (Lakehouse) | Банк, Армения
Строим корпоративную платформу данных для банка в Армении с нуля. Ищем технического лидера — играющего тренера, который возьмёт на себя всю инженерную часть платформы.
🧭 Твоя зона
Архитектор отвечает за целевую архитектуру и модель данных, ПМ — за сроки и бизнес. Ты — за то, как всё реализуется и работает каждый день.
🛠 Стек
Trino, Iceberg, MinIO (S3), dbt, Airflow, Kafka/Debezium, OpenMetadata, Python, Ansible.
Всё open-source, on-premise, as code.
🤖 Как работаем
Рутинный код пишут AI-агенты. Мы вкладываемся в правила, шаблоны и проверки, с которыми агенты стабильно делают хорошо. Ты определяешь, как команда и агенты работают вместе.
📌 Задачи
▫️ Пайплайны: batch и CDC-загрузки, трансформации, оркестрация, разбор инцидентов
▫️ Технические решения: физическая модель, структура dbt-проекта, шаблоны
▫️ Команда 6–7 дата-инженеров и аналитиков: декомпозиция, ревью, найм, рост людей
▫️ Harness для AI-разработки: skills, автопроверки, CI, контекст для агентов
▫️ Качество: code review, data quality, сверка с источниками, мониторинг
▫️ Безопасность: доступы, секреты, аудит, работа с ИБ банка
▫️ Контуры Dev / UAT / Prod: релизы, перенос данных с обезличиванием
▫️ Техническая точка контакта для банка и смежных команд
✅ Ждём
▫️ 7+ лет в data engineering, из них 2+ года техлидом
▫️ Готовность много писать код самому
▫️ Сам строил DWH или Lakehouse и знаешь, где всё ломается
▫️ Экспертный SQL, уверенный Python, моделирование данных (SCD, историчность)
▫️ Iceberg / Trino / Spark, dbt, Airflow или аналоги
▫️ Умение обосновать решение и разложить компромиссы
▫️ Опыт в банке или зарегулированной среде
⭐️ Плюсом
CDC (Debezium / Kafka Connect), Ansible или другой IaC, платформа с нуля
💼 Условия
▫️ Удалённо, поездки в Ереван 1–2 раза в месяц на 2–3 дня — логистику и проживание оплачиваем
▫️ Оформление через ИП
▫️ Зарплата обсуждается индивидуально
📩 Резюме и вопросы: ••••••••
#вакансия #астана #оффлайн #workITkz #dba, #dsml, #python
Должность: Data Engineer (инженер данных)
Компания: ••••••••
••••••••
Город: Астана
Занятость: оффлайн
Оплата: •••••••• тенге
Мы являемся молодой и амбициозной динамично развивающей компанией, которая была создана в 2020 году. Наша компания является поставщиком IT услуг и оборудований в различных отраслях.Продукты и услуги, предлагаемые компанией •••••••• совместно с партнерами, включают в себя широкий спектр решений: от серверов, операционных систем, систем мониторинга, виртуализации, конвергентных/гиперконвергентных систем, систем хранения данных, систем резервного копирования, решений для центров обработки больших объемов данных, решения для обеспечения безопасности и «облачных» вычислений в сфере IT до телекоммуникационных ресурсов.
Описание вакансии:
Python, SQL, Oracle, SQL Server, MySQL, PostgreSQL, IBM Db2, Hadoop/Hive, Greenplum, Apache Kafka. Источники данных — реляционные базы, HTTP API (GET и POST), потоки Kafka и файлы в форматах JSON, XML, CSV и геопространственных форматах.
Ищем Data Engineer на проект единой цифровой платформы для мониторинга и управления операционной деятельностью крупной транспортно-логистической компании. Платформа объединит данные из разных систем для анализа операционных показателей и поддержки управленческих решений.Нужен практический опыт разработки пайплайнов на Python и SQL, интеграции данных из баз, API, потоков и файлов, а также создания аналитических витрин. Важно уметь настраивать проверки качества данных, разбираться в причинах расхождений и готовить данные для дашбордов.
хороший английский (китайский будет плюсом)Предстоит работать с командой и заказчиком на всех этапах проекта - от проработки бизнес-требований и проектирования до внедрения и запуска в эксплуатацию.
- Официальное трудоустройство согласно ТК РК
- График работы: 5/2, с 09:00 до 18:00Контакты:
Telegram ••••••••
Whatsapp ••••••••
Мы ищем инженера, способного вместе с нами создавать и развивать продукт «Early Warning System», а также СПР-систему для ММБ Индии.
Наши основные задачи:
- создание автоматизированного процесса своевременного выявления негативных тенденций в деятельности контрагентов на ранних стадиях на основании автоматизированной обработки большого объема данных из различных источников с использованием алгоритмов и моделей с применением технологий искусственного интеллекта
- создание автоматизированного рабочего места подразделения мониторинга на целевых платформах Банка, обеспечив максимальную эффективность сотрудников для выполнения их функционала по мониторингу корпоративных клиентов
- разработка высоко нагруженного микросервиса Системы принятия решений (СПР) на Java/Scala для автоматического одобрения кредитных заявок в реальном времени с интеграцией ML-моделей и БКИ через Apache Kafka.
Обязанности
- проектирование, разработка и поддержка инфраструктуры для хранения и обработки больших данных
- проектирование и настройка ETL-процессов, используя внутренние и внешние источники данных
- проводить аналитику и периодические выгрузки данных для заказчиков
- создавать SQL скрипты для работы с БД PostgreSQL.
Требования
- знание англ.яз. на уровне B1 или выше (готовность подтягивать его и использовать в будущем в работе)
- отличное знание SQL
- знание одного из языков Scala/Java. Плюсом будет знание Python
- опыт работы с большими данными: Hadoop, Spark, Kafka.
- знание алгоритмов и структур данных
- понимание принципов проектирования и разработки баз данных
- опыт работы с БД PostgreSQL, оптимизация запросов
будет плюсом:
- навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
- опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
- инструментальное владение AI для анализа, генерации и автоматизации.
- навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.
Условия
- комфортный современный офис рядом с м. Кутузовская
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте (для Junior позиций)
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера.
Срочный трудовой договор до 31.12.2029г.
Команда технологического развития корпоративного хранилища данных, которая проводит масштабную миграцию ETL-процессов с Oracle Data Integrator (ODI) на Apache Airflow
Стек: Apache Airflow, Python, SQL, Hadoop, Spark (PySpark), Kafka, Oracle, GreenPlum/PostgreSQL, Clickhouse, Trino, Superset, Prometheus, Grafana, Git, Docker, Jira, Confluence
Чем предстоит заниматься
- Анализировать пакеты ODI, извлекать метаданные, фиксировать бизнес-логику. Реверс-инжиниринг ODI сценариев
- Проектировать и реализовывать миграцию. Переводить ETL-логику из ODI в DAG`и Apache AirFlow
- Разрабатывать ETL/ELT-пайплайны
- Обеспечивать качество данных (DQ-проверки), настраивать алерты, дашборды мониторинга
- Управлять артефактами, CI/CD. Настраивать пайплайны деплоя DAG-ов, версионирование кода (Git), листинг, тестирование (unit/integration), управлять зависимостями (включая whl-пакеты для PySpark-компонентов)
- Документировать и передавать знания
Что для этого нужно
- Образование – высшее техническое, математическое или экономическое
- Опыт работы от 3 лет в роли дата-инженера
- Практический опыт миграции или глубокой поддержки ETL-решений (ODI, Informatica, SSIS и т.п.) – понимание структуры пакетов, переменных, маппингов, планировщиков
- Уверенные знания и опыт практического применения: Python для написания DAG-ов и кастомной логики; SQL – сложные запросы, оптимизация кода; PySpark для пакетной обработки данных; Git, базовые навыки CI/CD, понимание версионирования и тестирования кода
- Опыт с Apache Airflow – архитектура, DAG-дизайн, операторы, хуки, сенсоры, обработка ошибок, backfill, переменные/конфиги
- Работа с контейнеризацией (Docker) и деплоем DAG-ов в контейнерной среде
- Навыки формирования Python-пакетов для переносимости Spark-логики
- Знание dbt, инструментов моделирования данных и подходов к слоям DWH
- Опыт настройки мониторинга (Prometheus/Grafana, AirFlow UI)
Трудоустройство в аккредитованную ИТ-компанию ООО «МегаТех»
Data Engineer
📍 Ташкент, Узбекистан | Офис, полная занятость
ЗАДАЧИ
• Подключение источников данных (БД, файлы, CDC), инкрементальные загрузки
• Трансформации между слоями хранилища и проектирование аналитических витрин
• Разработка и поддержка пайплайнов в оркестраторе
• Контроль качества данных: тесты, полнота, идемпотентность загрузок
• Оптимизация производительности: партиционирование, форматы таблиц, планы выполнения
• Code review, CI/CD, документация, data lineage
ТРЕБОВАНИЯ
• Опыт Data Engineer в промышленных проектах от 2 лет
• Продвинутый SQL, Python для обработки данных
• Spark или аналоги: партиции, shuffle, планы выполнения
• dbt и Airflow или аналоги
• Iceberg, Delta или Hudi; CDC-загрузки
• Моделирование данных: звезда, снежинка
• Git, CI/CD
• Русский свободный, английский для чтения документации
Будет плюсом: банковская сфера или платёжные системы, IOMETE, Databricks, Trino, Data Vault 2.0, Kubernetes, Great Expectations или Soda, BI (Qlik, Tableau, Power BI)
Писать в лс ln или телеграм ••••••••
Мы развиваем Marketing DWH — хранилище данных для маркетинга Яндекса. Нам нужен дата‑инженер, который поможет пересобрать архитектуру хранилища. Это нужно, чтобы аналитики и ИИ‑агенты могли находить нужные витрины, понимать, как рассчитаны показатели, и проверять результаты.
У нас есть направление R&D, к которому можно подключиться. Мы проверяем, как структура данных, описания витрин и способы доступа влияют на скорость и точность работы агентов. Например, можно сравнить несколько вариантов описания одной витрины и посмотреть, при каком из них агент чаще выбирает правильный источник. Подходы, которые показывают результат на реальных задачах, можно внедрить в Marketing DWH.
Пересборка архитектуры хранилища
Вы будете разбираться, как данные движутся от источников до витрин, обновлять модели данных и переносить на них расчёты. Вам предстоит устранять дублирование, ускорять запросы и проверять, как изменения сказываются на результатах расчётов и расходе ресурсов.
Настройка работы ИИ‑агентов
Вы будете настраивать поиск витрин и доступ к маркетинговым данным, а затем проверять, как агенты справляются с реальными аналитическими задачами. Например, агент должен сравнить две кампании: подобрать сопоставимые данные, верно рассчитать показатели и указать источники, чтобы результат можно было воспроизвести.
Правила Data Governance
Вы будете вместе с коллегами определять, кто отвечает за данные в маркетинговом домене, как описывать витрины и какие требования предъявлять к их качеству и свежести. Затем поможете внедрить правила на практике — например, добавите автоматические проверки в пайплайны и настроите оповещения об отклонениях.
Переход к расчётам в реальном времени
Вы поможете перевести часть расчётов на потоковую обработку: определите, для каких сценариев данные нужны с минимальной задержкой, и спроектируете обработку событий.
Больше о разработке в Яндексе — в канале Yandex for Developers
* Уверенно пишете на SQL и Python
* Разбираетесь в причинах проблемы, сравниваете варианты и можете объяснить, почему выбрали конкретное решение
* Самостоятельно доводите задачу до реализации и проверяете, что решение работает как задумано
* Работали с Kafka или другими системами обмена сообщениями и понимаете, как устроена потоковая обработка
* Писали на C++
* Внедряли практики Data Governance, развивали каталог данных или автоматизировали проверки качества
* Подключали ИИ-агентов к источникам данных или оценивали качество их ответов
Ключевые задачи:
Осуществлять разработку и поддержку процессов ETL/ELT для загрузки данных в базы данных.
Создавать структуры баз данных и определять параметры хранилищ данных.
Осуществлять автоматизацию процессов обработки и загрузки данных.
Осуществлять анализ данных с очисткой от ошибок и дубликатов.
Осуществлять подготовку датасетов из больших объемов данных для анализа.
Выполнять организацию инфраструктуры для хранения и управления данными.
Осуществлять построение конвейеров обработки данных.
Выполнять настройку среды и обучение моделей машинного обучения на подготовленных данных.
Мы ожидаем:
Знание Python или R, SQL.
Понимание работы с API, процессов ETL/ELT, аутентификации и авторизации.
Знание инструментов и технологий Big Data.
Опыт работы с контейнеризацией (Docker).
Знание систем контроля версий (Git/GitLab).
Опыт работы с Linux системами.
Знание BI-инструментов.
Опыт работы с облачными сервисами.
Опыт работы с брокерами сообщений (Kafka, RabbitMQ).
Будет преимуществом:
Опыт применения инструментов машинного обучения и нейронных сетей.
Практический опыт работы с BI-инструментом Apache SuperSet.
Знание Apache Druid, Arenadata DB, Apache Cassandra.
Мы предлагаем:
Финансовая мотивация и гарантии:
Конкурентная заработная плата
Официальное трудоустройство (ТК РБ), полный соцпакет
28 дней отпуска + матпомощь на оздоровление
Медицинская страховка
Профессиональное развитие:
Оплата курсов, конференций и семинаров
Корпоративная культура:
Современный офис в центре Минска
Качественное оборудование
График работы (пн.–чт. 9:00–18:00, пт. 9:00–16:45)
Корпоративы, подарки сотрудникам на значимые даты
Уютные зоны отдыха с игровыми пространствами
Корпоративная программа занятий спортом (All Sports)
*Данная вакансия является планируемой к созданию (перспективной).
ООО "Газпром информ" - аккредитованная IT компания, 100% дочерняя сервисная компания ПАО «Газпром», осуществляющая комплексное обслуживание пользователей, сопровождение информационных систем и ИТ-инфраструктуры.
Обязанности:
- Проектирование, разработка и внедрение аналитических систем для газового бизнеса;
- Разработка ETL, модулей расчета показателей на SQL/Python/Fore;
- Разработка хранилища данных;
- Разработка модулей интеграции на Python/Fore (файловая, из систем-источников);
- Оптимизация потоков данных;
- Разработка регламентных отчетов и форм ввода;
- Разработка аналитических отчетов и дашбордов;
- Техническая поддержка пользователей.
Требования:
- Высшее образование;
- Опыт работы по направлению деятельности не менее 3х лет;
- Глубокое знание языков: Python, SQL;
- Опыт работы с Python библиотеками: Flask/Django, SQLAlchemy, Openpyxl
Дополнительные преимущества:
- Опыт самостоятельного деплоя;
- Опыт разработки вэб-приложения;
- Опыт работы со сваггером;
- Навыки систематизации и структурирования информации. Умение делать выводы, находить главное, быстро предлагать решения и их обосновывать;
- Навыки формализации требований;
- Опыт анализа данных и создания аналитических отчетов;
- Понимание общих принципов работы бизнес-процессов в области управления данными;
- Навыки работы в условиях многозадачности и с большим объемом информации.
Условия:
- Официальное трудоустройство;
- Ежегодная индексация заработной платы;
- Годовая премиальная выплата;
- Выплаты и компенсации в соответствии с Коллективный договором;
- ДМС со стоматологией после прохождения испытательного срока
- Материальная помощь к отпуску;
- Премия ко Дню нефтяника;
- 5/2, 9.00-18.00 (пятница — до 16.45);
- Санкт-Петербург, пл. Победы, д.2, лит. А, корп. 1, БЦ «Виктория Плаза», 100% офисный формат.
Обязанности
Мы находимся в активной фазе масштабного проекта по миграции КХД с платформы Oracle на иной технологический стек
Ключевые технологии стека:
Greenplum (GP) — как основное ядро хранилища
ClickHouse (CH) — для задач аналитики и хранения данных временных рядов
Trino — как основной инструмент для распределенных SQL-запросов и ad-hoc аналитики
Hadoop (HDFS) — для хранения и обработки больших объемов неструктурированных данных (через Hue)
Мы ищем коллегу, который сможет применить свои навыки и знания для успешной реализации этого проекта.
Чем предстоит заниматься
- Взаимодействие с отделом архитектуры и разработки ETL по вопросам перепроектирования витрин, разметки таблиц/полей для РМД, проработке изменений методологии расчета срезов и KPI, консультирование по логике полей
- Проработка вопросов SLA по готовности данных, глубины хранения и пересчетов
- Взаимодействие с бизнес-владельцами/пользователями по вопросам актуализации бизнес-владельцев, согласования изменений в наборности полей, отказа от устаревших полей, определение юзкейсов использования, актуализация регламентов
- Проработка вопросов по НСИ (дополнение справочников, замена справочников, создание доп. маппингов и т.д.)
Требования
- Опыт работы с Greenplum, ClickHouse и Trino (понимание их архитектурных особенностей, сценариев применения, проектирования моделей данных)
- Опыт работы с Oracle: архитектура, PL/SQL
- Не обязательно, но желательно: опыт работы с экосистемой Hadoop (HDFS, Hive), использование Hue
- Опыт участия в аналогичном проекте будет плюсом
- Системное мышление: Способность видеть картину целиком — от бизнес-требований до физической реализации на уровне таблиц и партиций
- Готовность работать фулл тайм офис (Оружейный переулок, 41)
- Готовность работать на срочном трудовом договоре
Наша команда инфраструктуры аналитики помогает аналитикам делать свою работу. Мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации.
В компании много самодостаточных команд. В каждой команде свои сервисы, свои разработчики и аналитики. Так что у нас достаточно потоков данных самого разнообразного формата и объема. Это данные о букингах, на которые смотрит вся компания, и каждая запись проверяется чуть ли не руками, а еще — данные о билетах объемом более терабайта в сутки. Это требует разных подходов с нашей стороны.
- Наша платформа основана по принципам LakeHouse архитектуры. Наш стек: Spark, Trino, AWS S3, DeltaLake format, DBT, Kafka, Airbyte, Apache Airflow, DataHub.
- Тестирование и сборка производятся на CI сервере (Jenkins). Также присутствует Terraform. Деплой в Kubernetes(EKS в AWS). Настройкой серверов и разворачиванием баз мы не занимаемся. Это делает отдельная команда инфраструктуры.
Нам нужен еще один дата инженер в нашу дружную команду, который в ближайшей перспективе будет сфокусирован на задачах одной из продуктовых команд.
Задачи
- подключать новые источники и разрабатывать/модернизировать data pipelines;
- настраивать и поддерживать аналитическое окружение;
- отправлять и обмениваться данными с внешними и внутренними сервисами;
- модернизировать текущую дата платформу вместе с core командой дата инженеров;
- работать в паре с еще одним продуктовым дата инженером.
Требования
- опыт работы инженером данных от 2 лет;
- отличное знание Python, SQL;
- опыт разработки процесса для тестирования данных
- умение строить высоконагруженные streaming и batch пайплайны
- опыт работы в нашем стеке Apache Spark, Apache Airflow, Trino будет плюсом;
- опыт работы с Kubernetes, Terraform и с AWS приветствуется
- самостоятельность и ответственность, умение коммуницировать с разными командами и людьми
- желание развиваться и выстраивать процессы вокруг себя;
- навыки работы с ИИ агентами ( Claude Code, Codex и тд).
Условия
- в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;
- без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;
- компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;
- на райском острове: можно работать на Пхукете с видом на океан.
Ищем Главного инженера данных, который будет развивать
рисковое хранилище данных и участвовать в разработке процессов для
бюро кредитных историй.
Проект: хранилище данных для управления рисками (SQL, Pentaho,
PostgreSQL) и аналитика для бюро кредитных
историй (важен опыт в банке и уверенное написание SQL-запросов).
Команда: 8 человек — аналитики и дата-инженеры.
Чем предстоит заниматься:
Разработкой на уровне БД PGSQL:
- структуры данных, связей, индексов;
- бизнес-витрин данных;
- механизмов генерации и упаковки данных для бюро кредитных историй;
- отчётности (функциональная, техническая).
Разработка в Pentaho:
- настройка ETL-процессов.
- Образование: высшее техническое (либо подтверждённый релевантный опыт).
- Экспертные знания SQL и PGSQL;
- Работа с JSON, XML (парсинг, сборка);
- Понимание микросервисной архитектуры.
МГТС — основной телекоммуникационный партнер Города Москвы и часть экосистемы МТС. Проектируем, строим и эксплуатируем передовую телекоммуникационную инфраструктуру, развиваем и внедряем сети нового поколения, реализуем комплексные решения для Умного города.
Мы ищем Middle Data Engineer в отдел анализа коммерческой деятельности и управления данными. Команда отвечает за аналитику коммерческой деятельности и управленческую отчётность для нескольких подразделений: кор-бизнеса (связь, кабельная инфраструктура), направления по работе со спецпользователями и департамента PropTech (сервисы для недвижимости — от прокладки кабелей до продуктов вроде «Индор» и DTS).
Чем предстоит заниматься:
- проектировать и развивать архитектуру хранилища и витрин данных отдела — от подключения источников до передачи данных в отчётность
- разрабатывать логические модели данных, выделять сущности, проектировать таблицы и справочники
- оптимизировать структуру хранения под задачи аналитики и отчётности
- настраивать загрузку данных из действующих информационных систем, хранилищ и Excel-шаблонов
- разрабатывать процессы преобразования и загрузки данных в хранилище.
- переводить ручную обработку файлов на регулярные автоматические загрузки
- настраивать расписание и уведомления о сбоях, диагностировать ошибки и восстанавливать загрузки без дублирования данных
- проверять и очищать исходные выгрузки, в том числе Excel-файлы с десятками тысяч строк
- выявлять дубли и пропуски, проверять связи между таблицами, поддерживать актуальность справочников
- сверять загруженные данные с источниками и разбирать расхождения совместно с аналитиками и владельцами данных
- разработка и сопровождение отчётности в Power BI
- создавать и развивать модели данных, расчётные меры и дашборды по проектам, бюджетам, KPI и себестоимости
- сопровождать обновление отчётов и проверять корректность показателей при изменении источников или правил расчёта
- согласовывать правила расчёта показателей с аналитиками и бизнес-заказчиками
- описывать источники данных, архитектуру хранилища, структуру витрин и правила преобразования данных
- документировать расписание загрузок и порядок действий при сбоях
Что мы ждем от кандидата:
-
уверенный SQL — сложные запросы, создание таблиц и представлений, анализ планов выполнения и оптимизация. MS SQL Server и T-SQL желательны
- архитектура и моделирование данных — опыт проектирования хранилищ, витрин и логических моделей данных
- автоматизация загрузок — настройка расписания, обработка ошибок и повторные запуски без дублей. Airflow, SQL Server Agent или аналог
- python — автоматизация обработки данных, pandas, основы объектно-ориентированного программирования
- power BI — модели данных, меры на DAX, Power Query и визуализация
- excel — средний или продвинутый уровень, включая Power Query, сводные таблицы и сложные формулы
- git — базовые навыки работы с версиями SQL-скриптов и Python-кода
Мы предлагаем:
- оформление в штат компании;
- оклад + полугодовая и годовая премия при целевом выполнении KPI;
- пятидневная рабочая неделя с пн по пт, пт - сокращенный рабочий день;
- ДМС с первого месяца работы, включая стоматологию, а еще оплачиваем 50% стоимости полиса ДМС для родственников;
- страхование от несчастных случаев с 1 месяца работы, материальная помощь в сложных жизненных ситуациях;
- прием врачей общей практики и массаж в офисе и консультация психологов и программа поддержки сотрудников;
- отпуск 28 календарных дней;
- компенсация расходов на выбор сотрудника, например, на спорт, ипотеку или питание;
- специальные предложения от партнеров и скидки от продуктов экосистемы МТС;
- мобильная связь за счет компании и льготные тарифы для близких;
- подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети;
- собственный корпоративный университет, онлайн-библиотека и оплачиваемое внешнее обучения для карьерного развития.
# Data Engineer # Python # SQL
ID 3924 - Middle+ Data Engineer
🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм
❗️Готовность оформления на 0,5 к заказчику
🏢 Проект: Банк
Автоматизация резервного копирования данных Hadoop.
💡 Требования:
- Практический опыт разработки и сопровождения процессов обработки данных на Apache Flink: работа с потоками данных, состоянием задач, checkpoint/savepoint, обработкой ошибок и перезапуском заданий.
- Опыт работы с экосистемой Hadoop, прежде всего HDFS: организация хранения данных, работа с файлами и каталогами, понимание распределённого хранения и отказоустойчивости.
- Опыт разработки пайплайнов данных, настройки расписаний и зависимостей, контроля успешности выполнения.
- Уверенное владение SQL и одним из языков разработки пайплайнов - Python, Java или Scala.
- Понимание принципов резервного копирования и восстановления данных: целостность копий, повторный запуск после сбоя, контроль пропущенных и дублирующихся данных.
- Опыт диагностики ошибок обработки данных по логам и метрикам, поиска причин сбоев и оптимизации производительности пайплайнов.
- Опыт работы с Git, участия в code review и ведения технической документации.
📌Желательно
- Опыт работы с Hive и другими компонентами Hadoop.
- Опыт интеграции Flink с Kafka и источниками данных в Hadoop.
- Опыт работы с Apache Airflow, Spark, S3-совместимыми хранилищами.
- Опыт настройки мониторинга и алертинга в Grafana/Prometheus.
📨 Отклик — через форму: •••••••• или напрямую рекрутеру ••••••••
❗️Откликайтесь только при релевантном опыте.
❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями
❗️Повторный отклик: ID вакансии + сверка.
#Data #Engineer #Удаленно #вакансия
#вакансия #fulltime #удаленнаяработа #remote #Senior #Data #Engineer
Позиция: Data Engineer (Senior)
Вилка: ••••••••
Занятость: Полная
Формат работы: Удаленный
Локация: ЕС
Оформление: ИП
Компания: ••••••••
Привет! Меня зовут Александр. Я представляю группу компаний ••••••••.
Мы занимаемся трудоустройством IT специалистов на проектную занятость.
На данный момент мы в поиске Data Engineer
➕Требования:
- Большой опыт работы с хранилищами данных, архитектурой данных и моделированием данных.
- Отличные навыки работы с SQL.
- Практический опыт работы со Snowflake и dbt Core.
- Знание Data Vault 2.0 и Databricks.
- Опыт работы с Apache Airflow и Azure DevOps.
- Понимание процессов ETL/ELT и интеграции данных.
- Отличные навыки командной работы, коммуникации и решения проблем.
Языки: английский C1;
немецкий B2
➕Желательно:
- Python для обработки данных и автоматизации.
- Опыт работы с ИИ-помощниками для написания кода (Claude Code, GitHub Copilot).
- Опыт работы с проектами по миграции и модернизации платформ данных.
Основной набор инструментов: Snowflake, dbt (Core), Airflow, Azure DevOps, позднее — Databricks.
📞Резюме направлять сюда ••••••••
Смотрите также в каталоге
Хотите персональную подборку?
Введите свои критерии — мы отфильтруем вакансии по вашим требованиям
Найти подходящие вакансии →