Data Engineer в Data Lake (Python)

Строим общий поисковый слой, который будет использоваться в самых разных продуктах на основе языковых моделей.

Данные бывают очень разными: где-то это готовые структурированные записи, где-то — документы и обычный текст, а где-то информацию ещё нужно извлечь, очистить и подготовить к индексации.

Наша задача — сделать так, чтобы AI-системы могли быстро находить действительно нужную информацию. По качеству хотим быть на уровне лучших поисковых решений, а по скорости разработки — заметно быстрее больших платформенных команд.

Обязанности

• разрабатывать движки индексации и поиска;
• работать с векторным, текстовым и гибридным поиском;
• строить распределённые системы хранения и обработки данных;
• улучшать скорость, качество и снижать стоимость поиска;
• решать задачи отказоустойчивости и горизонтального масштабирования;
• работать с большими объёмами данных и высокой нагрузкой;
• создавать технологии, которые будут использовать другие команды и продукты.

Требования

• опыт промышленной разработки на Python
• глубокое понимание алгоритмов и структур данных
• навыки построения распределённых систем
• знание Linux и контейнеризации
• ориентация на результат и командную работу

Условия

• конкурентная заработная плата и годовая премия
• гибридный формат работы из г. Москва
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи
• ипотека для всех сотрудников
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.

Мокка – это популярный в России и Восточной Европе финтех сервис в сегменте BNPL (Buy Now Pay Later – Покупай сейчас, плати потом). С его помощью можно получить моментальный аванс на покупки и на другие цели с оплатой частями. Зарегистрироваться в Мокка можно в два клика прямо в магазине или в мобильном приложении – для этого не надо заполнять длинные анкеты или подписывать бумаги, весь процесс полностью онлайновый.

Под капотом Мокка – более 10 лет накопленного опыта, современные мобильные и облачные технологии и уникальный гибкий подход ко всем процессам. В Мокка более 15 млн пользователей, а сам сервис доступен в >9,500 партнерских магазинах, среди которых Детский мир, Иль Де Ботэ, ECCO и другие.

Задачи, которые тебе предстоит решать:

В первую очередь ищем сильного человека на усиление команды DE, поэтому фокус на разработку и оптимизацию текущих ключевых регламентных процессов

• 50% времени - реализация задач по развитию DWH (анализ, разработка объектов DWH, dbt-моделей, потоков данных)
• 20% времени - архитектурные задачи, планирования работ и улучшение инженерных практик в работе команды
• 30% времени - поддержка и улучшение существующих регламентных процессов DWH (решение инцидентов, поиск узких мест и стабилизация, работа над системным улучшением процессов)

Наши пожелания к экспертизе:

• Обширный опыт работы с MPP СУБД (в идеале с GreenPlum), опыт оптимизации запросов, настройки ресурсных групп, мониторинга производительности системы
• Опыт проектирования объектов многослойных корпоративных хранилищ данных
• Опыт разработки dbt-моделей
• Опыт проектирования и разработки DAG-ов в Airflow с чёткой декомпозицией задач, зависимостями и сенсорами. Понимание принципов настройки retry-политик, SLA-таймаутов и алертов.
• Опыт выстраивания процессов CI/CD, процессов контроля качества разработки
• Навыки бизнес-анализа, умение говорить с бизнес-пользователями на их языке
• Опыт работы в банковской сфере будет большим преимуществом

Мы предлагаем:

• Возможность учиться, профессионально расти и использовать в работе новейшие технологии
• Возможность самим выбирать “железо” для работы

• Привлекательную заработную плату в соответствии с твоими навыками и опытом, полное соблюдение ТК РФ

• Работу в команде, которая заинтересована в твоем росте
• Современный офис в стиле лофт в БЦ “Даниловская мануфактура” (шаговая доступность от м. Тульская)
• Формат работы: 4 дня в офисе, 1 день удаленно
• Открытую и простую коммуникацию внутри команды, без лишнего формализма
• Работу в аккредитованной ИТ компании
• ДМС, обучение и т.п.