Data Engineer (Hadoop, Scala) (Java)

Обязанности

Исправлять существующие фичи: выявлять причины остановки наполнения, исправлять логику и ставить задачи технической команде
Создавать новые фичи: определять требования к данным, формулировать прототип и ставить задачи в бэклог
Оценивать финансовую эффективность применения фичей (количество выдач, время обработки заявок, точность прогнозов и другие показатели)
Документировать информацию о новых и изменённых фичах в Confluence
Организовывать контроли качества данных: готовить бизнес-описание проверок и писать простые SQL-скрипты

Требования

Базовые знания SQL, Python
Опыт работы с большими данными и знание программных инструментов для анализа данных
Базовые знания реляционных баз данных и понимание различий между типами СУБД
Аналитический склад ума и способность анализировать большой объём информации
Навыки межличностного общения для взаимодействия с разными отделами Банка
Понимание нормативных требований в области обработки данных, включая конфиденциальность и безопасность
Умение запрашивать и обрабатывать обратную связь от наставников
Будет преимуществом работа со Spark, HDFS, Airflow и опыт применения LLM в задачах

Условия

Трудоустройство по ТК
ДМС с топовыми клиниками с первого дня работы
Модный офис в Москве, Питере, Екатеринбурге и Сочи
Корпоративы, тусовки и фирменный мерч в подарок
Возможность поработать над продуктами с миллионной аудиторией
Поддержка и помощь персонального ментора

Задачи

• Анализ процессов и разработка на их основе алгоритмов преобразования данных; оркестрация потоков (зависимости в потоках, выстраивание режимов загрузки).
• Оптимизация алгоритмов загрузки данных.
• Разработка нового и доработка существующего функционала в КХД (ETL, раскладка данных по логическим слоям хранилища, создание конечных витрин, отчётов, кубов).

Требования

• Опыт проектирования потоков загрузки данных в хранилища DWH (Greenplum), опыт работы с промышленными ETL-средством;
• Знание SQL на высоком уровне (разработка функций и процедур, оптимизация сложных запросов);
• Опыт работы с логическими слоями хранилища (якорная модель, data vault, снежинка, звезда);
• Понимание общей специфики банковских продуктов и процессов — желательно;
• Опыт работы на проектах внедрения/развития хранилищ данных от 3-х лет.

Условия и бенефиты

• Удаленный формат работы на всей территории РФ;
• ДМС после испытательного срока;
• Корпоративная электронная библиотека;
• Страхование при выезде за рубеж;
• Корпоративная социальная и материальная поддержка в определенных жизненных ситуациях;
• 10 рабочих дней 100% оплачиваемого листа нетрудоспособности в год;
• Корпоративные скидки и специальные акции от компаний-партнеров;
• Льготные условия на продукты Банка;
• Корпоративные мероприятия для сотрудников и их детей

Наш стек: Python, Airflow, ClickHouse, Trino, PostgreSQL, Vertica, Kafka, S3, Spark, Hadoop, Kubernetes, Helm, Superset, Prometheus, Grafana, GitLab, Jira, Confluence.

Вам предстоит

• разрабатывать и поддерживать пайплайны поставки данных в ClickHouse, Vertica и Trino

• проектировать и реализовывать фабрики data-пайплайнов

• обеспечивать своевременное обновление и поступление актуальных данных

• развивать систему Data Governance

• обучать аналитиков современным практикам работы с данными

• настраивать и поддерживать системы мониторинга и алертинга

• автоматизировать процессы разработки и аналитики с использованием AI-агентов и agentic development tools

• создавать AI-workflows для типовых инженерных задач и интегрировать их с внутренними инструментами

• стандартизировать технические процессы, проекты и workflows аналитиков данных

Для нас важно, что вы

• более 2 лет работаете с Python

• более 2 лет работаете Data Engineer: знаете Apache Spark (PySpark), понимаете принципы работы СУБД и умеете оптимизировать запросы

• умеете работать с ClickHouse, PostgreSQL и Trino

• понимаете принципы построения и работы хранилищ данных

• имеете практический опыт использования AI-агентов и agentic development tools (Claude Code / Codex / OpenCode или аналоги) для решения инженерных задач

• понимаете принципы работы с контекстом, инструкциями, tools/skills и многошаговыми agentic workflows

• умеете разрабатывать компоненты Airflow

• поддерживаете порядок в коде, Git и документации

• умеете и любите быстро учиться, применять новые знания на практике и самостоятельно находить ответы на сложные вопросы

• имеете высшее техническое образование

Будет плюсом, если вы

• имеете опыт работы с CI/CD

• умеете работать с Kubernetes, Prometheus, Superset и Helm

• имеете опыт взаимодействия с аналитиками и Data Scientists

• создавали собственных AI-агентов, skills/tools, MCP-интеграции или многошаговые AI-workflows для автоматизации инженерных процессов