Rubytech. Технологии и продукты

Дата инженер (Python, Java)

Группа Rubytech — лидирующий производитель программно-аппаратных комплексов и разработчик технологий для высоконагруженных ИТ-инфраструктур. Мы выпускаем собственную линейку ПАК Скала^р, а также строим и защищаем от киберугроз инфраструкту…

Rubytech. Технологии и продукты

Зарплата не указанаРоссияМоскваГибрид

Группа Rubytech — лидирующий производитель программно-аппаратных комплексов и разработчик технологий для высоконагруженных ИТ-инфраструктур. Мы выпускаем собственную линейку ПАК Скала^р, а также строим и защищаем от киберугроз инфраструктуру, обеспечивая бесперебойную работу крупного бизнеса и государственных организаций.

Вам предстоит:

• Разработка, построение, тестирование и поддержка архитектур данных: Дата-инженер отвечает за создание и поддержку оптимальных архитектур данных, которые обеспечивают эффективное хранение, обработку и доступ к большим объемам данных.
• Сбор и интеграция данных из различных источников: Дата-инженер должен уметь собирать данные из разнообразных источников, таких как базы данных, файловые системы, внешние сервисы и API, и интегрировать их в централизованное хранилище данных.
• Очистка и подготовка данных: Очистка неструктурированных и разрозненных данных, их преобразование в структурированный и читаемый формат для последующего анализа.
• Автоматизация процессов сбора, обработки и анализа данных: Разработка и поддержка автоматических процедур для регулярного обновления данных и обработки потоков данных в реальном времени.
• Мониторинг, тестирование и обеспечение производительности обработки данных: Постоянный мониторинг систем и архитектур данных на предмет ошибок и узких мест, а также выполнение необходимых оптимизаций.
• Сотрудничество с аналитиками данных и другими заинтересованными сторонами: Взаимодействие с командами аналитиков, бизнес-аналитиков и разработчиков для обеспечения доступа к данным, их понимания и использования.
• Соблюдение политик и нормативов в области обработки данных: Все процессы и системы должны соответствовать требованиям в отношении безопасности данных, конфиденциальности и правовых норм.

Требования к нашему кандидату:

• Опыт работы дата-инженером от 3 лет: Участие в проектировании, построении, оптимизации и поддержке хранилищ данных. Опыт работы с базами данных и большими объемами данных.
• Знание систем управления базами данных: Глубокие знания SQL и NoSQL баз данных, включая Greenplum, ClickHouse, MongoDB, Cassandra, PostgreSQL, MySQL и другие.
• Опыт с большими данными и распределенными системами: Опыт работы с Hadoop, Spark, Trino, StarRocks, Kafka и другими технологиями обработки больших данных.
• Знание облачных платформ: Опыт работы с облачными платформами AWS, Yandex Cloud или VK Cloud, включая сервисы хранения, обработки данных и управления базами данных.
• Навыки работы с данными: Знание основных принципов и методик построения DWH, DataLake, Lakehouse. Понимание методов очистки и предобработки данных, знание инструментов для визуализации данных.
• Опыт разработки ETL: Уверенное владение ETL-инструментами для извлечения, трансформации и загрузки данных из различных источников.
• Знание языков программирования: Владение SQL и одним или несколькими языками программирования: Python, Scala, Java.
• Опыт работы с Git и инструментами CI/CD: GitLab, Jenkins или аналогичными.
Тестирование: Опыт формирования сценариев и проведения функционального и нагрузочного тестирования.
• Умение работать с документацией: Анализ и подготовка архитектурной документации, описаний разработанных решений и результатов тестирования.
• Осознанное использование ИИ: Понимание и опыт использования ИИ-инструментов для повышения продуктивности работы.
• Навыки командной работы: Способность эффективно общаться как с техническими, так и с не техническими коллегами, умение работать в команде.

Желательно:

• Опыт работы с DevOps-задачами, самостоятельное развёртывание демонстрационных и тестовых стендов, проведение тестов и документирование результатов.
• Понимание принципов контейнеризации и опыт работы с Docker, Kubernetes.

Что мы предлагаем:

  • Уютный, комфортный и современный офис в пешей доступности от м. Алексеевская, где есть все необходимое для работы и даже больше: дежурный врач, кафе и столовая, кофе и фрукты, фитнес-центр, коворкинг и многое другое.
  • Стабильный и «белый» конкурентный доход, который мы обсудим при встрече;
  • Удобный график — гибрид или офис (в зависимости от подразделения);
  • Работа в аккредитованной ИТ-компании из реестра Минцифры (отсрочка от мобилизации);
  • Профессиональный рост, обучение и развитие, участие в проекте «Лекторий Rubytech»;
  • Развитые спортивные комьюнити: футбол, волейбол, баскетбол и шахматы;
  • ДМС для вас и вашей семьи на особых условиях;
  • Тимбилдинги, митапы и другие корпоративные мероприятия;
  • Скидки у 500+ партнеров (платформы BestBenefits и Lerna).

Ждем вас в нашей команде!

Похожие вакансии Data Engineer

hh.ru
совкомбанк технологии
Зарплата не указанаРоссияБарнаулОфис
Стек технологий на проекте:
Postgres и Oracle - SQl\PLSQL объекты, представления, аналитические функции. Системы отчетности: Oracle APEX и FineBI - отчеты, интерактивные отчеты, диаграммы. ETL процессы: Python - скрипты для импорта и преобразования данных. Прочее: СSS,JS для стилизации отчетов.

Обязанности:
  • Разработка новых отчетов в системах, доработка существующих;
  • Разработка скриптов для импортов данных из информационных систем;
  • Создание и разработка витрин для хранения данных;
  • Создание, доработка, рефакторинг функций и процедур БД;
  • Создание почтовых рассылок.
Требования:
  • Не менее 2-х лет опыта в разработке;
  • Уверенное знание SQL — сложные запросы, аналитические функции, оптимизация;
  • Опыт разработки объектов БД (представления, функции, процедуры) в Oracle или PostgreSQL;
  • Опыт написания ETL-скриптов на Python (импорт, трансформация, загрузка данных);
  • Понимание структуры витрин данных и DWH-подходов.

Будет плюсом:

  • Опыт работы с Oracle APEX и/или FineBI (или аналогичными BI-системами);
  • Знание CSS/JavaScript для доработки интерфейсов отчётов;
  • Опыт настройки почтовых рассылок и планировщиков (cron, DBMS_SCHEDULER и пр.);
  • Навыки работы с большими объёмами данных и оптимизации производительности.

Личные качества:

  • Внимательность к деталям и качеству результата;
  • Системное мышление и умение видеть задачу целиком;
  • Готовность разбираться в новых системах и инструментах;
  • Ответственность и умение работать как в команде, так и самостоятельно.
Условия:
  • Официальное оформление в аккредитованную IT-компанию;
  • График работы: 5/2, выходные: суббота, воскресенье;
  • Комфортные офисы – у нас уютные рабочие пространства, комнаты отдыха с настольным теннисом, кикером, плойкой и другими плюшками;
  • Развитие профессиональной экспертизы: ты сможешь обучаться и посещать конференции и митапы за счёт компании;
  • Классная команда – мы за радость общения и дружбу в коллективе;
  • Комфортный офис – у нас уютные рабочие пространства, комнаты отдыха с настольным теннисом, кикером, плойкой и другими плюшками;
  • Погружение в ИИ-культуру – взаимодействуем с искусственным интеллектом на постоянной основе и обучаем этому новичков, предоставляем бесплатных ИИ-помощников;
  • Коворкинги в Сочи и на Алтае – туда можно отправиться поработать и отдохнуть в режиме 4/3 за счёт Банка;
  • Более 50 социальных программ – ДМС со стоматологией и страхованием от несчастных случаев и болезней, изучение английского, софинансирование летнего, зимнего и тематического отпуска, уникальные условия по продуктам и услугам Банка;
  • Забота о детях: мы проводим праздники и экскурсии для детей наших сотрудников, софинансируем частный детский сад, отдых в лагере и подготовку к экзаменам;
  • Много спорта: у нас есть клубы и секции, можно заниматься любым спортом за счёт Банка и участвовать в корпоративных турнирах и чемпионатах. Также мы софинансируем коллегам абонементы в фитнес-клубы;
  • Вовлеченность, комфорт и свобода. У нас минимум бюрократии, нет дресс-кода, гибкое начало и завершение рабочего дня;
  • Самая яркая корпоративная культура – летние IT-фесты, путешествия по России и за её пределами!
hh.ru
водород

Data Engineer (Senior)

водородАвтоподнятие
Зарплата не указанаБеларусьМинскГибрид

Мы, VADAROD – IT компания, которая специализируется на разработке и сопровождении программных продуктов в финтех домене.

Для участия в проекте по построению корпоративного хранилища данных мы ищем Data Engineer.

Задачи:

  • создание слоя транформации сырых данных;

  • участие в развитии КХД в части разработки концептуальной, логической и физической модели данных;

  • участие в разработке архитектуры решения;

  • участие в code review.

Мы ожидаем:

  • знание SQL;

  • знание Python;
  • опыт написания и отладки сложных SQL-запросов;
  • практические навыки по проектированию схемы базы данных, опыт работы с ER-диаграммами.

Будет плюсом:

  • опыт работы в финтех домене или понимание бизнес-процессов в финансовых организациях;

  • опыт работы с аналитическими (оконными) функциями;

  • опыт работы с Apache Airflow, Debezium.

Мы предлагаем:

  • комфортный, современный офис в центре города;
  • гибкое начало рабочего дня;
  • медицинская страховка с включенной стоматологией;
  • курсы английского языка;
  • возможность внешнего и внутреннего обучения, участие в семинарах и конференциях;
  • отпуск 29 дней и выплата к отпуску;
  • обеспечиваем необходимой техникой для комфортной работы.

Откликайся! Мы ждем твое резюме)

*вакансия открыта в связи с перспективой потребности в работнике.

hh.ru
М

Data Engineer (Middle+/Senior)

мфо sapa digital finance
Зарплата не указанаКазахстанАлматыОфис

Ищем сильного Data Engineer уровня Middle+/Senior, который умеет самостоятельно проектировать и развивать процессы обработки данных.

Вы станете первым Data-инженером компании и владельцем данных - совместно с подрядчиком возьметесь за реализацию хранилища данных и доведете его до рабочего состояния с дальнейшим развитием до платформы данных. Позиция с перспективой роста до руководителя Data направления.

Задачи
  • Ведение хранилища данных - архитектура слоев, модель данных, паттерны разработки ХД и подключение новых источников
  • Построение истории изменения данных (SCD2) и сквозного ключа клиента между источниками
  • Разработка, поддержка и оптимизация ETL/ELT-процессов.
  • Ведение хранилища данных - архитектура слоев, модель данных, паттерны разработки ХД и подключение новых источников
  • Построение и развитие пайплайнов сбора, обработки и загрузки данных.
  • Интеграция данных из различных источников: API, реляционные БД, Kafka, внешние сервисы.
  • Участие в проектировании и развитии хранилищ данных (DWH, Data Lake, Data Lakehouse).
  • Разработка и оптимизация процессов пакетной и потоковой обработки данных.
  • Обеспечение качества, целостности, актуальности и согласованности данных.
  • Оптимизация SQL-запросов и производительности обработки больших объемов данных.
  • Настройка мониторинга, логирования и обработки ошибок в пайплайнах данных.
  • Резервное копирование и регулярные проверки восстановления хранилища.
  • Подготовка и предоставление данных для аналитики, отчетности и подготовка признаков для ML-моделей.
  • Постановка задач, приемка работ и взаимодействие с подрядчиками
  • Документирование данных
Требования
  • Опыт работы на позиции Data Engineer от 4 лет.
  • Опыт построения хранилища или его рефакторинга, от источника до витрины, на ведущих ролях
  • Уверенное владение SQL и Python.
  • Практический опыт работы с PostgreSQL и ClickHouse. Глубокое знание PostgreSQL-индексы, патиционирование, репликация, планы запросов, резервное копирование и восстановление и т.п.
  • Моделирование данных с историей изменений, бизнес-ключи
  • Опыт применения автоматических проверок качества данных
  • Опыт разработки ETL/ELT-процессов с использованием Apache Airflow или аналогичных инструментов.
  • Понимание принципов проектирования DWH, Data Lakehouse и моделирования данных.
  • Понимание различий между OLTP и OLAP-системами.
  • Опыт работы с большими объемами данных и оптимизации SQL-запросов.
  • Понимание принципов инкрементальной загрузки данных и CDC.
  • Опыт работы с Git.
  • Понимание принципов мониторинга, отказоустойчивости и восстановления процессов обработки данных.
  • Самостоятельность, системное мышление и ответственность за результат. Умение объяснять технические вещи простым языком.
Будет плюсом
  • Опыт работы с Apache Kafka и потоковой обработкой данных.
  • dbt или аналогичный инструмент трансформаций
  • Практический опыт построения или развития Data Lakehouse.
  • Знакомство с ML-пайплайнами и MLOps.
  • Опыт работы с финансовыми данными, скоринговыми системами или кредитными продуктами.
  • Опыт работы с данными BPM-систем
  • Опыт подготовки данных для регуляторной отчетности
  • Опыт интеграции данных в микросервисной архитектуре.
Условия
  • Ответственность за архитектуру данных и самостоятельное принятие технических решений по ней
  • Перспектива роста до руководителя Data направления компании
  • Работа в финтех-компании с действующими продуктами и реальными объемами данных.
  • Участие в развитии платформы данных и построении современных решений для аналитики.
  • Возможность влиять на архитектуру и развитие Data-направления.
  • Офисный формат работы, Алматы.
  • Конкурентная заработная плата по результатам собеседования.
  • Компенсация профильных курсов и профессионального обучения.
  • Бесплатные курсы английского языка.
  • Медицинское страхование за счёт компании с установленным лимитом покрытия

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.