Data Engineer / DataOps (сессионный антифрод) (Python, Java)
Мы делаем систему сессионного антифрода. Она собирает отпечаток устройства и поведение пользователя в интернет-банке, распознаёт ботов и мошенников и решает, пропустить операцию или остановить.
Мы делаем систему сессионного антифрода. Она собирает отпечаток устройства и поведение пользователя в интернет-банке, распознаёт ботов и мошенников и решает, пропустить операцию или остановить.
Чем предстоит заниматься:
- Собирать наборы для обучения из истории событий в Iceberg: срез за период, метки из подтверждённых решений аналитиков, состав набора записан, чтобы его можно было собрать заново.
- Вести учёт версий моделей: какая версия на каких признаках обучена, с какими метриками, в каком статусе (тест, канарейка, прод, отозвана). На старте это таблица и регламент, не отдельная платформа.
- Сделать подготовку данных для модели на пути события: по описанию модели (список полей и правила преобразования) собрать нужные поля из события, кешей и графа и привести их к одному виду, тому же, что при обучении. Сам вызов модели и её обслуживание делает Java-команда, ваша часть данные и их скорость: на сборку и преобразование не больше 50 мс.
- Настроить проверку новой версии модели на данных: отложенный по времени срез, сравнение с текущей версией на одних и тех же событиях, прогон по истории.
- Поставить мониторинг в Prometheus и Grafana: отставание конвейеров, сверки источников, дрейф входных данных и скоров, задержка и доля таймаутов, качество по подтверждённым решениям; оповещения.
- Проектировать таблицы ClickHouse под нагрузку: ключи сортировки, партиции, сроки хранения, материализованные представления.
- Вести стенды данных: Docker, S3-хранилище, Kafka, ClickHouse, PostgreSQL; сборка и деплой в Jenkins; метрики в Grafana.
- Документировать схемы и регламенты так, чтобы ими пользовалась команда и заказчик.
Что ждём от кандидата:
- Уверенный Python и стек обработки данных: pandas, PyArrow, Parquet, тесты на pytest.
- ClickHouse в бою: настройка, схемы таблиц и ключи сортировки, поведение под нагрузкой и при слияниях, SQL-аналитика, умение объяснить план запроса.
- Kafka: топики, партиции, группы потребителей, повторы и дубли, Avro и реестр схем. Умение прочитать Java-код продюсера и потребителя и договориться с Java-командой о контракте.
- S3-совместимые хранилища (MinIO, Ceph) и Parquet поверх них.
- Linux-консоль, Git, Docker: сами поднимаете стенд из нескольких сервисов и разбираете инцидент по логам.
- Prometheus и Grafana: метрики сервисов и конвейеров, дашборды, оповещения.
- Понимание экосистемы Java.
- Jupyter как рабочий инструмент.
Будет плюсом (по убыванию важности):
- Iceberg, Delta или Hudi в проде; Kafka Connect и строгие Avro-схемы.
- Хеширование и маскирование персональных данных: банк спросит об этом первым.
- Airflow или другой оркестратор конвейеров.
- PostgreSQL, в том числе pgvector.
- Антифрод или скоринг: разметка, холдаут по времени, утечки признаков.
- MLflow или другой реестр моделей: пригодится позже, на старте не нужен.
Чего не ждём:
Не нужно быть исследователем в ML: модели выбирает и обучает аналитик данных. Ваша задача сделать так, чтобы любую модель можно было подключить, проверить и отозвать. Не нужен Kubernetes: поставка идёт в контур заказчика, часто без него.
Условия:
- Официальное трудоустройство по ТК РФ;
- Стабильная заработная плата;
- График работы 5/2, 40-часовая рабочая неделя;
- ДМС после прохождения испытательного срока;
- Онлайн-платформа по обучению от материнской компании;
- Полная занятость;
- Удаленная работа.
Похожие вакансии Data Engineer
Обязанности
Исправлять существующие фичи: выявлять причины остановки наполнения, исправлять логику и ставить задачи технической команде
Создавать новые фичи: определять требования к данным, формулировать прототип и ставить задачи в бэклог
Оценивать финансовую эффективность применения фичей (количество выдач, время обработки заявок, точность прогнозов и другие показатели)
Документировать информацию о новых и изменённых фичах в Confluence
Организовывать контроли качества данных: готовить бизнес-описание проверок и писать простые SQL-скрипты
Требования
Базовые знания SQL, Python
Опыт работы с большими данными и знание программных инструментов для анализа данных
Базовые знания реляционных баз данных и понимание различий между типами СУБД
Аналитический склад ума и способность анализировать большой объём информации
Навыки межличностного общения для взаимодействия с разными отделами Банка
Понимание нормативных требований в области обработки данных, включая конфиденциальность и безопасность
Умение запрашивать и обрабатывать обратную связь от наставников
Будет преимуществом работа со Spark, HDFS, Airflow и опыт применения LLM в задачах
Условия
Трудоустройство по ТК
ДМС с топовыми клиниками с первого дня работы
Модный офис в Москве, Питере, Екатеринбурге и Сочи
Корпоративы, тусовки и фирменный мерч в подарок
Возможность поработать над продуктами с миллионной аудиторией
Поддержка и помощь персонального ментора
Наш стек: Python, Airflow, ClickHouse, Trino, PostgreSQL, Vertica, Kafka, S3, Spark, Hadoop, Kubernetes, Helm, Superset, Prometheus, Grafana, GitLab, Jira, Confluence.
Вам предстоит
• разрабатывать и поддерживать пайплайны поставки данных в ClickHouse, Vertica и Trino
• проектировать и реализовывать фабрики data-пайплайнов
• обеспечивать своевременное обновление и поступление актуальных данных
• развивать систему Data Governance
• обучать аналитиков современным практикам работы с данными
• настраивать и поддерживать системы мониторинга и алертинга
• автоматизировать процессы разработки и аналитики с использованием AI-агентов и agentic development tools
• создавать AI-workflows для типовых инженерных задач и интегрировать их с внутренними инструментами
• стандартизировать технические процессы, проекты и workflows аналитиков данных
Для нас важно, что вы
• более 2 лет работаете с Python
• более 2 лет работаете Data Engineer: знаете Apache Spark (PySpark), понимаете принципы работы СУБД и умеете оптимизировать запросы
• умеете работать с ClickHouse, PostgreSQL и Trino
• понимаете принципы построения и работы хранилищ данных
• имеете практический опыт использования AI-агентов и agentic development tools (Claude Code / Codex / OpenCode или аналоги) для решения инженерных задач
• понимаете принципы работы с контекстом, инструкциями, tools/skills и многошаговыми agentic workflows
• умеете разрабатывать компоненты Airflow
• поддерживаете порядок в коде, Git и документации
• умеете и любите быстро учиться, применять новые знания на практике и самостоятельно находить ответы на сложные вопросы
• имеете высшее техническое образование
Будет плюсом, если вы
• имеете опыт работы с CI/CD
• умеете работать с Kubernetes, Prometheus, Superset и Helm
• имеете опыт взаимодействия с аналитиками и Data Scientists
• создавали собственных AI-агентов, skills/tools, MCP-интеграции или многошаговые AI-workflows для автоматизации инженерных процессов
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.