Data engineer (hadoop + java)

* Сбор прототипов витрин данных;
* Разработка и оптимизация SQL-запросов для извлечения данных из различных источников;
* Анализ и интерпретация больших объемов данных для выявления тенденций, паттернов и инсайтов;
* Формирование и проверка гипотез;
* Документирование разработанных решений;
* Взаимодействие с командами разработки и продуктового менеджмента для определения требований к данным;
* Участие в проектах по улучшению качества данных и автоматизации аналитических процессов.

* Релевантный опыт работы от 3 лет;
* Уверенное знание SQL и опыт работы с реляционными базами данных (PostgreSQL, MySQL, MS SQL и др.);
* Умение писать и оптимизировать сложные SQL-запросы (Оконные функции, Рекурсии, Функции и операторы для работы с массивами, Временные таблицы);
* Умение разбираться в чужом коде, проводить ревью;
* Знание и опыт работы с устройством хранилища данных (**Data Vault 2.0**);
* Опыт работы со стеком Greenplum, Hive, Clickhouse, S3, Trino;
* Хорошие коммуникативные навыки и умение работать в команде;
* Опыт работы в BI инструментах (Qlik Sense, Superset);
* Базовые навыки по работе с данными на Python (pandas, numpy, sqlalchemy, psycopg2, requests).

**Будет дополнительным плюсом:**

* Работа в Airflow, умения написание дагов и знание основных компонентов;
* Работа в Ataccama.

* Официальное оформление с белой ЗП, полугодовые премии по результатам работы;
* Возможность работать удалённо или в гибридном формате;
* Удобный офис рядом с м. «Добрынинская» / удобный офис с бесплатной парковкой на м. «Волгоградский проспект» / МЦД «Калитники»;
* Гибкий график работы;
* Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья;
* Возможность учиться и развиваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, участие в крупнейших конференциях страны, программы развития цифровых и управленческих навыков (Цифровая академия, Школа Тимлидов), онлайн и офлайн мастер-классы, корпоративный университет «X5 Полка», школа наставников и многое другое;
* Программы мотивации для спикеров и авторов: внутренняя школа Speak Up School, Write Up, ачивки и баллы за выступления, подготовка спикеров к крупнейшим конференциям страны, сообщество авторов на Хабре, возможность шерить опыт с комьюнити внутренних и внешних экспертов;
* Обмен опытом через cообщества: 12 технических комьюнити от java до devops;
* Яркая корпоративная жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: регулярные внутренние митапы, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтерства, корпоративное предпринимательство X5 Idea Challenge;
* Забота о благополучии сотрудников: 7 спортивных сообществ (бег, футбол, волейбол, баскетбол, хоккей, лыжи, триатлон), ежегодная Неделя здоровья;
* Скидки в экосистеме бизнесов Х5 («Пятёрочка», «Перекрёсток», «Много лосося», «Перекресток Впрок»);
* Программа привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров);
* Материальная помощь сотрудникам, попавшим в сложную жизненную ситуацию.

• Настроить интеграцию AMO CRM - PostgreSQL (или аналог) для предварительной обработки данных;
• Оптимизировать хранение и фильтрацию данных в PostgreSQL (или другой СУБД);
• Разрабатывать и дорабатывать дашборды для удобства анализа;
• Участвовать в улучшении бизнес-процессов и аналитической инфраструктуры
• Иные поручения руководства в рамках зоны ответственности.

• Опыт работы с PostgreSQL
• Навыки настройки интеграций;
• Умение писать SQL-запросы, оптимизировать обработку данных;
• Опыт построения дашбордов с использованием BI-инструментами: Tableau, Power BI, Metabase);
• Базовые навыки работы с Excel (формулы, макросы, API);
• Понимание основ ETL и работы с большими данными.

• Официальное оформление по ТК.
• Работа в команде профессионалов.
• График 5/2 с 9 до 18 или с 10 до 19 часов.
• Метро Октябрьская/Шаболовская.
• Заработная плата: оклад + ежемесячные надбавки по итогам работы.

Пройдемся по основным задачам:

• Создавать витрину данных для аналитиков и для мониторинга.
• Подготовка датасетов на клиента, транзакцию с расчетом истории для построения скоринговых моделей.
• Интеграция с поставщиками данных.
• Постоянное улучшение мониторинга за качеством данных, процессами и оповещениями для проактивного и реактивного решения возникших проблем.

Вы подходите нам, если у вас есть:

• Логическое мышление, аналитический склад ума.
• Хорошие коммуникативные навыки.
• Хорошее владение SQL, Python.

Будет плюсом, если у вас есть :

• Опыт работы с Docker, FastAPI, опыт работы в рисках (банки) или CV.
• Призовые места на олимпиадах по математике.