Data Engineer — свежие вакансии

Компания IBS, ключевой технологический партнер лидеров российского бизнеса, приглашает на работу начинающих IT-специалистов на вакансию "Младший разработчик (BigData) " без коммерческого опыта работы на крупный банковский проект.

В рамках этой роли вам предстоит:

1. Проектирование и сопровождение БД: разработка и поддержка объектов базы данных (таблицы, представления, индексы, хранимые процедуры) в среде Greenplum.

2. Разработка витрин данных: проектирование и расчет показателей для витрин данных под бизнес-задачи с использованием SQL.

3. Построение ETL/ELT-пайплайнов: реализация и оптимизация процессов загрузки и трансформации данных в корпоративном хранилище данных (DWH) с использованием Apache Airflow для оркестрации.

4. Контроль качества данных: проведение первичного тестирования и валидации результатов загрузок, обеспечение целостности и достоверности данных.

5. Документирование решений: активное участие в создании и поддержке технической документации по разрабатываемым процессам и схемам данных.

6. Планирование и отчетность: ведение регулярной отчетности о ходе выполнения задач, фиксация проблем и сроков в системах трекинга (Jira).

Инструментарий: Jira, Confluence, Greenplum, Apache Airflow.

• Высшее ИТ-образование (или учащиеся последних курсов ВУЗов).

• Владение SQL: знание синтаксиса и основных конструкций (SELECT, INSERT, JOIN), работа с агрегатными функциями и оконными выражениями. Понимание операций над множествами (UNION, INTERSECT, EXCEPT) и декартова произведения.

• Базы данных: опыт работы, в том числе учебный, с реляционными СУБД (любой вендор — PostgreSQL, MySQL, ClickHouse и т.д.) на уровне пэт-проектов.

• Навыки программирования: будет преимуществом знание языков программирования (например, Python) и принципов объектно-ориентированного программирования (ООП).

• Готовность 5/2 работать из офиса (Нижний Новгород, ул. Нестерова, д. 31).

• Работа в аккредитованной ИТ-компании с более чем 30-летним опытом реализации тысяч проектов.

• Работа на банковском проекте.

• Пятидневная рабочая неделя с ПН по ПТ, с 9:00 до 18:00 или с 10:00 до 19:00.

• Возможность роста от младшего разработчика до ведущего специалиста, руководителя.

• Заработная плата фикс: 47 000 до вычета налога (40 800 руб. на руки) с последующим ростом.

• Для Вашего роста мы будем использовать современный подход в обучении и развитии (опытный наставник, множество бесплатных курсов для повышения квалификации).

• Вы будете членом сильной команды экспертов и иметь возможность обмениваться опытом с коллегами по всей России.

• Мы не только хорошо работаем, но и весело отдыхаем. Вы сможете найти себе мероприятия по вкусу и участвовать в них по желанию: неформальные мероприятия, интеллектуальные игры, собственная Киберлига, возможность заниматься волонтерской деятельностью и благотворительностью, творческие вечера и другое.

• ДМС.

Аналитика для сервиса Заявки Телеком данных - продукт занимается выгрузками данных по телекому (начисления, трафик, услуги, тарифы) для внутренних заказчиков, работа с разными источниками (хадуп, гринплам, оракл, другие бд)

Задачи

-выгрузки, обработка гео и телеком-данных (трафик, локации нахождения абонентов);
-разработка простых ETL-процессов;
-выполнение ADHOC-задач на PySpark;
-создание сегментов пользователей;
- подготовка отчетности, обработка таблиц на PySpark

Требования

Базовое знание SQL и Python

Условия

Cобственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах;
Профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше;
Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;
Полезные курсы и вебинары в корпоративном университете и электронную библиотеку.
А еще:
Прием врачей общей практики и массаж в офисе;
Мобильная связь за счет компании и льготные тарифы для близких;
Подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.

• разработка систем анализа, отчетности хранения данных с использованием -диалектов языка SQL, BI платформы Tableau, Grafana;
• автоматизация процессов с использованием Python;
• участие в проектах глубокого анализа данных (data mining), машинного обучения (machine learning), прогнозирования.

• высшее образование (оконченное, либо на этапе дипломной работы);
• знание одного и более языков программирования на уровне intermediate и выше;
• грамотная устная и письменная речь;
• английский язык на уровне B1 и выше.

Преимущества при трудоустройстве:

• наличие портфолио с готовыми проектами;
• самостоятельное участие в проектах анализа данных, ML;
• западное образование;
• самообразование в направлении обработки данных.

• постоянный профессиональный рост;
• интересные современные задачи;
• лучший опыт по обработке, хранению и анализу данных в стране;
• комфортный зелёный офис в центре города
• полностью оснащенное рабочее место;
• бесплатная мобильная связь
• программа профессионального развития на 2,5 года вперед

График работы: 5/2, с 9:00 до 18:00 ч.;

Ищем самостоятельного дата-инженера для развития потоков данных в прикладном _Legal_-домене. Вам предстоит строить надежные пайплайны от источников до автоматизированных систем-получателей.

Обязанности

• cбор, анализ и формализация требований от бизнес-технологов (БТ) и владельцев продуктов юридического блока
• поиск, исследование и подключение новых источников данных внутри КАП под задачи правового департамента
• выполнение разовых (Ad-hoc) запросов по заявкам бизнеса для проработки требований, точечного анализа юридических метрик или поиска аномалий в данных
• разработка ETL -процессов на Scala (Apache Spark 3.2+) с последующей пакетной доставкой подготовленных витрин данных в смежные автоматизированные системы (АС)
• оптимизация производительности SQL-запросов к данным уровня HOF (Head of Function, сложные CTE, оконные функции, партиционирование) и Scala-кода
• обеспечение стабильности работы продуктивных потоков: разбор инцидентов третьей линии поддержки (L3), восстановление целостности данных после сбоев, работа с логами YARN/HDFS
• взаимодействие с командами DevOps для настройки CI/CD пайплайнов доставки кода и оркестрации задач
• ведение технической документации в Confluence и управление задачами в Jira.

Требования

• высшее образование
• опыт работы Data Engineer от 2–3 лет
• уверенное владение Apache Spark (версии 2.x или 3.x). Будет приимуществом знание Scala
• знание Python
• глубокое понимание архитектуры экосистемы Hadoop (YARN, HDFS, Hive Metastore)
• экспертный уровень SQL: свободное использование оконных функций (ROW_NUMBER, RANK, LAG/LEAD), сложных джоинов и вложенных запросов
• навык анализа требований бизнеса и перевода их на язык технических спецификаций.
• практический опыт расследования и устранения последствий инцидентов L3 в продуктивной среде больших данных
• самостоятельность: умение декомпозировать задачу, оценить сроки и довести ее до релиза без микроменеджмента
• знакомство с инструментами DevOps и практиками CI/CD применительно к доставке Spark-приложений

Будет плюсом:

• опыт использования AI-инструментов в разработке (LLM-ассистенты для написания и ревью кода, агенты для автоматизации рутинных операций, инструменты автодополнения вроде GitHub Copilot)
• опыт работы с данными в финансовом секторе, ритейле или телекоме; знакомство со специфическими юридическими источниками (например, выгрузки из систем претензионно-исковой работы, реестры контрагентов).

Условия

• формат работы офис, локация офиса ул Вавилова д.19
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.

Ищем специалиста, который сочетает инженерный подход к разработке ETL-процессов с глубоким пониманием аналитики данных.

Чем предстоит заниматься:

• проектирование на основе спецификаций (Spec-driven)

• разработка ETL/ELT процессов

• оркестрация и мониторинг

• аналитическая поддержка

• работа с документацией

• взаимодействие со стейкхолдерами

Мы ждём что ты:

• Опыт работы от 4 лет в ролях Data Engineer, DWH-разработчика или системного аналитика данных

• Продвинутый уровень SQL: оконные функции (ROW_NUMBER, LAG/LEAD), CTE, понимание плана выполнения запроса (EXPLAIN) и оптимизации

• Уверенное владение Apache Spark: опыт промышленной разработки на языке Scala, опыт работы с экосистемой Big Data: HDFS, Hive Metastore, YARN, Parquet/ORC форматы

• Практический опыт работы с оркестраторами (Airflow, Luigi или аналоги)

• Владение Git: ветвление (GitFlow), код-ревью, разрешение конфликтов

Будет плюсом:

• Опыт проектирования витрин с нуля под требования конкретных продуктовых метрик

• Python (Pandas, PySpark) для вспомогательных скриптов, тестирования или легкого анализа

• Начальные знания и интерес к развитию в области Machine Learning и Data Analysis

Что мы предлагаем:

• офисный формат работы

• ежегодный пересмотр зарплаты, годовая премия

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

• подписку Прайм с возможностью совместного использования на троих членов семьи

• вознаграждение за рекомендацию друзей в команду Сбера.

ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ

Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения.

Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу.

Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из 87 источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache Griffin.

ПРОЕКТ: Суть проектов связана с построением хранилищ, которые построены на различных базах данных Hadoop, GreenPlum, PosgreSQL. Работаем с витринами и занимаемся разработкой ETL процессов.

СТЕК: SQL, Spark, Python, Iceberg, Airflow

Работа из офиса 5/2:
Москва (ул.Поклонная), Санкт-Петербкрг (ул.Уральская),
Нижний Новгород (ул.Академика Сахарова).

Что нужно делать:

• Взаимодействие с командой и заказчиком по уточнению требований.

• Анализ чужого и написание своего кода на SQL, Python, Spark

• Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.

• Тестирование и отладка кода, обеспечение качества данных.

• Документирование (Confluence)

Что мы хотели бы видеть:

• Глубокие знания SQL.
• Spark (в том числе оптимизаци), Python
• Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.
• Знание архитектуры хранилищ
• Умение работать в команде и следовать процессам заказчик

Желательно:

• Iceberg
• Kafka
• Scrum
• Знание экономики, финансов, банковской сферы.

Что ты приобретёшь, присоединившись к нам:

• достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе;
• работа в команде профессионалов готовых делиться экспертизой;
• официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный пакет:

✔️ страховка ДМС (с 3-го месяца работы, стоматология, возможность подключения родственников, теле медицина, полис ВЗР),

✔️ сотрудникам со стажем в Neoflex более 3 месяцев при предоставлении листка нетрудоспособности устанавливается доплата до полного заработка за период болезни,

✔️ обучение детей сотрудников ИТ специальностям,

✔️ компенсация затрат на фитнес и занятия английским языком;

• обеспечиваем техникой для работы (ноутбук, наушники, мышь);
• профессиональное развитие - в Учебном Центре (курсы по работе с большими данными, видео лекции, тренажеры, карьерный коучинг, лекции, тренинги, конференции, участие в митапах);
• возможность пройти проф.сертификацию;
• прозрачную систему карьерного развития Performance Review;
• персонального наставника с первого дня работы;
• насыщенную корпоративную жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия, мотивационные награждения;
• комфортную атмосферу в филиалах компании в городах: Москва, Санкт-Петербург, Нижний Новгород, Пенза, Воронеж, Саратов, Самара, Краснодар где есть лаунж и фотозоны, вендинги в кухнях, пространство для медитаций и другие секретные места, о которых знают только наши сотрудники.

Мечты и команды работают вместе. Мы будем рады, если ты станешь частью нашей команды! Откликайся ;)

Компания «Дивергент» занимается разработкой инновационных цифровых продуктов силами собственных профессиональных сотрудников.
Наша команда насчитывает более 50 опытных ИТ-специалистов.

Компания включена в реестр аккредитованных организаций, осуществляющих деятельность в области информационных технологий.

В нашей команде работают специалисты из Москвы, Самары, Брянска, Санкт-Петербурга, Нижнего Новгорода, Красноярска, Сыктывкара, Тюмени, Читы, Саратова и других городов. Мы работаем онлайн (дистанционно), и для нас важно, чтобы задачи выполнялись качественно и в срок.

Наша ключевая ценность — люди.
Мы гордимся успешными проектами наших клиентов. Это заслуга всей команды, где каждый раскрывает свой профессиональный потенциал. В компании принята открытая и уважительная культура общения

Ожидания от кандидата:

• уверенное знание sql и опыт работы с реляционными и файловыми базами данных;
• активное использование актуальных технологий, опыт работы с: s3 (iceberg), hadoop, trino, spark, clickhouse, airflow, git;
• сбор прототипов витрин данных;
• умение написания дагов и знание основных компонентов;
• разработка и оптимизация sql-запросов для извлечения и обработки данных из различных источников;
• умение писать и оптимизировать сложные sql-запросы (оконные функции, рекурсии, функции и операторы для работы с массивами, временные таблицы);
• понимание концепции dwh (слои, выбор арх-ры и фреймворка);
• анализ и интерпретация больших объемов данных для выявления тенденций, паттернов и инсайтов;
• формирование и проверка гипотез;
• документирование разработанных решений;
• взаимодействие с командами разработки и продуктового менеджмента для определения требований к данным;
• будет дополнительным плюсом: опыт работы в bi инструментах (qlik sense\superset\data lens);

Работа в компании «Дивергент» — это

• работа в аккредитованной ИТ-компании;
• трудоустройство по ГПХ, ИП;
• проектная работа;
• индексация заработной платы;
• дистанционный формат работы на территории РФ;
• возможности профессионального и карьерного роста;
• корпоративные бонусы и подарки к праздникам;
• обучение и повышение квалификации за счет компании.

В сопроводительном письме укажите, пожалуйста, ваши ожидания по заработной плате!

Ключевые задачи:

Осуществлять разработку и поддержку процессов ETL/ELT для загрузки данных в базы данных.
Создавать структуры баз данных и определять параметры хранилищ данных.
Осуществлять автоматизацию процессов обработки и загрузки данных.
Осуществлять анализ данных с очисткой от ошибок и дубликатов.
Осуществлять подготовку датасетов из больших объемов данных для анализа.
Выполнять организацию инфраструктуры для хранения и управления данными.
Осуществлять построение конвейеров обработки данных.
Выполнять настройку среды и обучение моделей машинного обучения на подготовленных данных.

Мы ожидаем:

Знание Python или R, SQL.
Понимание работы с API, процессов ETL/ELT, аутентификации и авторизации.
Знание инструментов и технологий Big Data.
Опыт работы с контейнеризацией (Docker).
Знание систем контроля версий (Git/GitLab).
Опыт работы с Linux системами.
Знание BI-инструментов.
Опыт работы с облачными сервисами.
Опыт работы с брокерами сообщений (Kafka, RabbitMQ).

Будет преимуществом:

Опыт применения инструментов машинного обучения и нейронных сетей.
Практический опыт работы с BI-инструментом Apache SuperSet.
Знание Apache Druid, Arenadata DB, Apache Cassandra.

Мы предлагаем:

Финансовая мотивация и гарантии:
Конкурентная заработная плата
Официальное трудоустройство (ТК РБ), полный соцпакет
28 дней отпуска + матпомощь на оздоровление
Медицинская страховка

Профессиональное развитие:
Оплата курсов, конференций и семинаров

Корпоративная культура:
Современный офис в центре Минска
Качественное оборудование
График работы (пн.–чт. 9:00–18:00, пт. 9:00–16:45)
Корпоративы, подарки сотрудникам на значимые даты
Уютные зоны отдыха с игровыми пространствами
Корпоративная программа занятий спортом (All Sports)

• разработка и поддержка ETL‑процессов: выгрузка данных из Greenplum и загрузка в ClickHouse;
• проектирование и оптимизация пайплайнов перемещения данных между контурами;
• написание и оптимизация SQL‑запросов в ClickHouse;
• настройка и поддержка процессов интеграции данных в рамках перехода с ClickSense на АС Навигатор;
• участие в миграции данных и обеспечении непрерывности работы аналитических процессов;
• работа в связке с командой аналитиков и разработчиков Greenplum.

• оконченное высшее образование;
• опыт работы с ClickHouse от 2 лет: проектирование таблиц, партиционирование, оптимизация запросов;
• уверенное владение SQL, понимание принципов работы колоночных СУБД;
• опыт ETL‑разработки: выгрузка, трансформация, загрузка данных;
• опыт работы с Greenplum (или другими MPP‑СУБД) — как источник данных;
• понимание архитектуры хранилищ данных и принципов DWH.

• оформление по ТК РФ с первого дня и все социальные гарантии;
• офисный формат работы;
• ДМС после испытательного срока;
• страхование жизни сотрудника;
• для работы предоставляем ноутбук, наушники, мышь, при необходимости – и другую технику;
• доступ к библиотеке IBS, к открытым бесплатным курсам от "Среды развития", к вебинарам "Биржи знаний";
• бонусы и бенефиты для наших сотрудников: подарки для детей ко Дню знаний, на Новый Год, скидки у корпоративных партнёров;
• подарки для сотрудников, вступающих в брак;
• материальная помощь на рождение и усыновление детей;
• награда за лояльность к компании и премия за выслугу лет.